- 博客(7)
- 收藏
- 关注
原创 消费kafka报java.nio.channels.ClosedChannelException
首先,问题已解决,重新梳理思路,侧重阐述整个过程、问题解决方案。前言在业务划分+技术迭代的背景下,需要重新进行日志收集,即服务日志存储到hdfs。一、流程图基于下图可知,此次迭代的变更点,主要是kafka的消息生产。升级Kubernetes容器,主要原因:极致弹性的资源扩缩。主要执行步骤如下:申请kafka、增加topic申请sls申请logstash、安装插件t-streaming平台部署脚本网络加白a. sls 与 logstashb. logstash 与 kafka
2021-12-07 15:55:09
2819
原创 Mac安装Anaconda3与Pycharm配置
一、下载安装Anaconda点此进入anaconda官网「Get Started」 -> 「Install Anaconda Individual Edition」 -> 「64-Bit Graphical Installer (462 MB)」 -> 「默认安装」安装好之后,在启动台里找到终端,输入python至此Anaconda集成环境就好了二、为pycharm配置Anaconda开发环境第一步:点击Configure ——> Preferences第二步
2020-11-17 17:18:02
3515
4
原创 一次mysql事务锁问题记录
现象: Lock wait timeout exceeded; try restarting transaction场景:在不同服务器不同事务内先后对同一个数据表进行插入、更新,数据库出现被锁情况原因:mysql数据库采用InnoDB模式,默认参数 innodb_lock_wait_timeout 设置锁等待时间是50s,一旦数据库锁超过这个时间就会报错解决方法:1、查看数据库当前的进程,看一下是否有正在执行的慢SQL记录线程show processlist;2、查看当前的事务当前运行的所有事
2020-09-08 16:51:23
150
1
原创 Hbase精简入门
疑问:hdfs与hbase有啥区别?为什么要用hbase?如何理解hbase所谓的列式存储、Key-Value结构?。。。一、介绍HBaseApache HBase™ is the Hadoop database, a distributed, scalable, bigdata store. HBase is a type of “NoSQL” database.Apache HBase 是 Hadoop 数据库,一个分布式、可伸缩的大数据存储。HBase是依赖Hadoop的。为什么HBas
2020-09-08 16:48:21
181
原创 基于Django框架对MongoDB实现增删改查
在上一篇中,咱们已经实现了Scrapy框架爬取数据,并且存储到Mongodb数据库, 接下来呢,,,,,,,,,,,,, 咱们就要对这些数据进行操作。目标:从Mongodb数据库取出数据,通过Django框架展示到web页面,实现展示、分页、添加、修改、删除的功能1. 准备工作创建django项目 点击:file–>new project,出现下面的对话框。 选择Dj...
2018-08-14 14:53:21
9472
9
原创 Scrapy爬取数据存储到Mongodb数据库
目标:用Scrapy框架爬取帖子的编号、标题、内容、url,存储到Mongodb数据库1.定义项目所需爬取的字段( items.py )import scrapy# 定义项目所需爬取的字段class ComplaintspiderItem(scrapy.Item): # 帖子编号 number = scrapy.Field() # 帖子题目 title...
2018-08-14 12:17:48
1163
1
原创 Scrapy爬虫入门
为什么要做爬虫?都说现在是”大数据时代”,那数据从何而来?企业产生的用户数据、数据平台购买数据、政府/机构公开的数据、数据管理咨询公司、爬取网络数据爬虫是什么?百度百科:网络爬虫我们今后要学习的,主要是 聚焦爬虫聚焦爬虫,是”面向特定主题需求”的一种网络爬虫程序,它与通用搜索引擎爬虫的区别在于: 聚焦爬虫在实施网页抓取时会对内容进行处理筛选,尽量保证只抓取与需求相关的...
2018-08-07 11:04:53
418
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人