Flume
Data_IT_Farmer
BJUT 2014级 计算机学院小硕一枚,现为某上市金融公司--高级大数据开发工程师一枚。自20170701开始记录自己的技术工作生涯!广结天下技术之友,笑对未来技术之难题!
展开
-
日志采集系统flume和kafka有什么区别及联系,它们分别在什么时候使用,什么时候又可以结合?
日志采集系统flume和kafka有什么区别及联系,它们分别在什么时候使用,什么时候又可以结合?观点一:简言之:这两个差别很大,使用场景区别也很大。先说flume:日志采集。线上数据一般主要是落地文件或者通过socket传输给另外一个系统。这种情况下,你很难推动线上应用或服务去修改接口,直接向kafka里写数据。这时候你可能就需要flume这样的系统帮你去做传输。对于数量级别,做过单机upd的fl...转载 2018-03-08 10:58:24 · 17085 阅读 · 4 评论 -
【Flume】【源码分析】深入flume-ng的三大组件——source,channel,sink
【Flume】【源码分析】深入flume-ng的三大组件——source,channel,sink概览flume-ng中最重要的核心三大组件就是source,channel,sinksource负责从源端收集数据,产出eventchannel负责暂存event,以备下游取走消费sink负责消费通道中的event,写到最终的输出端上以上是总体的一个简单结构图,下面我们来深入每一个组件的内部看看:1、...转载 2018-04-28 19:38:37 · 467 阅读 · 0 评论 -
Flume中的HDFS Sink配置参数说明及输出压缩配置
关键字:flume、hdfs、sink、配置参数滚动条件与输出hdfs的文件的压缩配置Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下。channel type hdfs path写入hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/flume/webdata/可以使用flume提供的日期及%{host...转载 2019-03-12 11:28:34 · 7231 阅读 · 0 评论