- 博客(7)
- 收藏
- 关注
RSS订阅原创 消费kafka报java.nio.channels.ClosedChannelException
首先，问题已解决，重新梳理思路，侧重阐述整个过程、问题解决方案。前言在业务划分+技术迭代的背景下，需要重新进行日志收集，即服务日志存储到hdfs。一、流程图基于下图可知，此次迭代的变更点，主要是kafka的消息生产。升级Kubernetes容器，主要原因：极致弹性的资源扩缩。主要执行步骤如下：申请kafka、增加topic申请sls申请logstash、安装插件t-streaming平台部署脚本网络加白a. sls 与 logstashb. logstash 与 kafka
2021-12-07 15:55:09
2823
原创 Mac安装Anaconda3与Pycharm配置
一、下载安装Anaconda点此进入anaconda官网「Get Started」 -> 「Install Anaconda Individual Edition」 -> 「64-Bit Graphical Installer (462 MB)」 -> 「默认安装」安装好之后，在启动台里找到终端，输入python至此Anaconda集成环境就好了二、为pycharm配置Anaconda开发环境第一步：点击Configure ——> Preferences第二步
2020-11-17 17:18:02
3522
4
原创 一次mysql事务锁问题记录
现象： Lock wait timeout exceeded; try restarting transaction场景：在不同服务器不同事务内先后对同一个数据表进行插入、更新，数据库出现被锁情况原因：mysql数据库采用InnoDB模式，默认参数 innodb_lock_wait_timeout 设置锁等待时间是50s，一旦数据库锁超过这个时间就会报错解决方法：1、查看数据库当前的进程，看一下是否有正在执行的慢SQL记录线程show processlist;2、查看当前的事务当前运行的所有事
2020-09-08 16:51:23
151
1
原创 Hbase精简入门
疑问：hdfs与hbase有啥区别？为什么要用hbase？如何理解hbase所谓的列式存储、Key-Value结构？。。。一、介绍HBaseApache HBase™ is the Hadoop database, a distributed, scalable, bigdata store. HBase is a type of “NoSQL” database.Apache HBase 是 Hadoop 数据库，一个分布式、可伸缩的大数据存储。HBase是依赖Hadoop的。为什么HBas
2020-09-08 16:48:21
182
原创 基于Django框架对MongoDB实现增删改查
在上一篇中，咱们已经实现了Scrapy框架爬取数据，并且存储到Mongodb数据库， 接下来呢，，，，，，，，，，，，， 咱们就要对这些数据进行操作。目标：从Mongodb数据库取出数据，通过Django框架展示到web页面，实现展示、分页、添加、修改、删除的功能1. 准备工作创建django项目 点击：file–>new project，出现下面的对话框。 选择Dj...
2018-08-14 14:53:21
9476
9
原创 Scrapy爬取数据存储到Mongodb数据库
目标：用Scrapy框架爬取帖子的编号、标题、内容、url，存储到Mongodb数据库1.定义项目所需爬取的字段（ items.py ）import scrapy# 定义项目所需爬取的字段class ComplaintspiderItem(scrapy.Item): # 帖子编号 number = scrapy.Field() # 帖子题目 title...
2018-08-14 12:17:48
1165
1
原创 Scrapy爬虫入门
为什么要做爬虫？都说现在是”大数据时代”，那数据从何而来？企业产生的用户数据、数据平台购买数据、政府/机构公开的数据、数据管理咨询公司、爬取网络数据爬虫是什么？百度百科：网络爬虫我们今后要学习的，主要是 聚焦爬虫聚焦爬虫，是”面向特定主题需求”的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于： 聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的...
2018-08-07 11:04:53
420
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人