flume
左林右李02
mt实时数据平台研发
展开
-
flume HA实现
一、Flume简单介绍 Flume提供一个分布式的,可靠的,对大数据量的日志进行高效收集、聚集、移动的服务 1.1 FLume的基本组成 Flume的组件主要包括三个:Source、Channel、Sink,其前后关系如图1所示。 图1 1.2 Source Source用来从数据源接收数据,并将数据写入到Channel中。 Source分很多种,现在公司内用到的有两个: (1)KafkaSou...转载 2020-01-14 21:03:13 · 642 阅读 · 0 评论 -
flume hdfs sink配置
flume hdfs sink配置备忘 type hdfs path 写入hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/flume/webdata/ 可以使用flume提供的日期及%{host}表达式。 filePrefix 默认值:FlumeData 写入hdfs的文件名前缀,可以使用flume提供的日期及%{host}表达式。 fileSuffix...原创 2020-01-11 19:58:48 · 264 阅读 · 0 评论