![](https://img-blog.csdnimg.cn/20190918140145169.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flume
文章平均质量分 50
日志文件采集框架
败给你的黑色幽默丶
if i say you're the one would you believe me;
if i ask you to stay would you show me the way
展开
-
Flume内存优化
Flume内存优化 1)问题描述:如果启动消费Flume抛出如下异常 ERROR hdfs.HDFSEventSink: process failed java.lang.OutOfMemoryError: GC overhead limit exceeded 2)解决方案步骤 (1)在hadoop102服务器的/opt/module/flume/conf/flume-env.sh文件中增加如下配置 export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.manage原创 2021-10-07 23:55:22 · 367 阅读 · 0 评论 -
kafka channel
kafka channel的三种角色: (1)只做单纯的channel 提供高可靠性;但是会造成跨节点数据传输; (2)做channel + sink 下游直接从kafka消费 (3)做source + channel 直接从kafka消费数据原创 2021-10-07 23:13:57 · 572 阅读 · 0 评论 -
数据采集框架 Flume
Flume官网 (1)Flume官网地址:http://flume.apache.org/ (2)文档查看地址:http://flume.apache.org/FlumeUserGuide.html (3)下载地址:http://archive.apache.org/dist/flume/ Flume概述 (1)Flume是cdh公司提供的 (2)海量日志采集、聚合和传输的框架 (3)高可用的,高可靠的,分布式 高可用:flume挂了以后还有别的flume可以代替来工作 高可靠:数据传输可靠,不丢失 分布原创 2021-10-07 15:42:33 · 1193 阅读 · 0 评论