![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
文章平均质量分 79
魏忠贵
这个作者很懒,什么都没留下…
展开
-
十一:Flume常用Source配置-taildir-source
一:Flume概述:Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts of log data from many different sources to a centralized data ...原创 2019-01-27 23:20:31 · 1890 阅读 · 1 评论 -
十二:Flumue操作Channel-Memory/File Channel¶
一:常用channel概述:1.1 memory弊端:在使用Memory作为channel时,需注意source过来的数据 和SINK写出的速度,防止数据处理不过来导致内存挂掉,需要优化两个具体的参数。同时用memory作为channel时,当flume挂了,内存的数据就丢了!capacity的容量是和JVM公用的留意参数调整:export JAVA_OPTS="-Xms100m -Xm...原创 2019-01-28 21:29:54 · 298 阅读 · 0 评论 -
十六: brokerList must contain at least one Kafka broke 案例及其它几个坑-阿里云
一:启动flume 告警如下:nohup bin/flume-ng agent \-c /home/hadoop/app/apache-flume-1.6.0-cdh5.7.0-bin/conf -f /home/hadoop/app/apache-flume-1.6.0-cdh5.7.0-bin/conf/exec_memory_kafka.properties \-n a1 -Dflu...原创 2019-02-07 20:21:35 · 1387 阅读 · 0 评论 -
二十二:Flume+kafka+spark日志采集故障分析
一:问题现象 计划Flume+kafka+spark进行消费,在本地测试么有数据过来,然后打开kafka消费端查看,kafka正常,从生产端是可以写入数据的,但是在flume采集文件后消费端没有数据,flume启动也是正常的: flume 启动成功[root@hadoop002 bin]# nohup flume-ng agent -c conf -f /opt/software/fl...原创 2019-03-03 19:29:54 · 773 阅读 · 0 评论