![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据采集
Maple梁
社畜,码农
展开
-
kafka数据写入速度优化【项目经验总结】
先说结论:调整集群参数# 每当producer写入10000条消息时,刷数据到磁盘 log.flush.interval.messages=10000# 每间隔1秒钟时间,刷数据到磁盘 log.flush.interval.ms=1000好久没有更新了,沣哥给介绍了个对象,也不知道能不能成,看的看不上咱0.0回归主题,前几天领导给我派了个活,说客户的kafka消费速度有问题,派我出差去排查一下,我到了现场后先梳理了一下数据链路,一个服务(二进制数据流)->kafkatopic1-&原创 2021-11-13 16:54:29 · 5122 阅读 · 0 评论 -
flume-kafka搭配,采集日志的基础使用
最近在看这些数据采集的大数据组件,自己写了一点基础的测试前期准备:flume kafka组件可正常使用,有hdfs修改权限监控的文件是/opt/module/logs/tt.log所以正常启动后mkdir -p/opt/module/logsecho "这是一首简单的小情歌" >> /opt/module/logs/tt.log向这个tt.log文件输入数据,就可以监听了文件名为fk.conf,存储路径是flume下创建的jobs文件夹启动命令:bin..原创 2021-06-01 10:57:42 · 222 阅读 · 0 评论