![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
Rone-X
Time is Love
展开
-
Flume常见Source、Channel、Sink配置
整合一下Flume常见的Source、Channel、Sink的配置 --------------------------常见的Source的配置-------------------- Avro Source配置: 参数 默认值 描述 channels - 与之相连的Channel,可以配置多个。用空格隔开。在单个代理流程中,是通过channel连接sources和sinks。一...原创 2020-03-12 18:03:01 · 1521 阅读 · 0 评论 -
Flume消费Kafka数据写入HDFS
主要是消费kafka中不同topic落入不同的文件夹上 这里仅作为参考 因为我是在华为云上使用Flume消费Kafka数据到OBS(华为云的对象存储产品 s3a)适当做了修改 Flume版本1.6.0 #这里Source1、2 channel01 sink02 随便写 只需要在后面引用的时候对应起来就好 server.sources = Source1 Source2 server.channe...原创 2020-03-12 16:13:37 · 529 阅读 · 0 评论