![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
谜失落的世界
这个作者很懒,什么都没留下…
展开
-
Flume输出hdfs sink时自带时间戳后缀
flume往hdfs中写入文件的时候,文件名会默认生成一个时间戳原因见下面的源码分析:http://www.aboutyun.com/thread-21422-1-1.html原创 2019-05-23 15:03:13 · 1880 阅读 · 1 评论 -
flume定制 之 taildir支持子文件目录
1、查看官网,taidir的路径中只有文件名是支持正则表达式的,路径不支持。2、测试说明:taildir-->memory-->kafkaflume source的配置文件:将配置文件中的路径修改为/data/taildir/*/.*log的话,flume会报错3、如何修改?taildir监控目录时,默认是不支持路径正则表达式的, 源码实现将最后...原创 2019-06-14 13:12:04 · 1097 阅读 · 0 评论 -
Flume扇入模型
机器信息:Agent1:NN1Agent2:NN2Agent3:RM配置:agent1:# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the custom exec sourcea1.sources.r1....原创 2019-06-19 11:45:10 · 203 阅读 · 0 评论 -
Flume apache和cdh版本的差异
apache版本的flume和cdh版本的flume在配置上是有一些区别的需要注意:例如:cdh版本1.6.0-cdh5.7.0中kafka sink 的配置中是brokerList,但是apache 1.7.0中是kafka.bootstrap.servershttp://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0/F...原创 2019-06-19 17:09:19 · 716 阅读 · 1 评论 -
Flume源码导入IDEA
参考:https://www.jianshu.com/p/bced0babd3f0转载 2019-06-17 13:27:07 · 854 阅读 · 0 评论