Flume消费Kafka数据到HDFS

最新推荐文章于 2023-09-07 14:49:45 发布

hanqiwen6688@163.com

最新推荐文章于 2023-09-07 14:49:45 发布

阅读量130

点赞数

文章标签： kafka hdfs

本文链接：https://blog.csdn.net/weixin_45822753/article/details/108809980

版权

本文介绍了如何使用Flume从Kafka消费数据，并将其存储到HDFS。配置包括Source、Channel和Sink三个部分，Source部分设置了两个KafkaSource分别消费不同主题的数据，Channel使用内存型通道，Sink部分则将数据写入HDFS并进行文件滚动策略的设定。

摘要由CSDN通过智能技术生成

组件定义

a2.sources=r1 r2
a2.channels=c1 c2
a2.sinks=k1 k2

Source配置

a2.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
a2.sources.r1.batchSize = 5000
a2.sources.r1.batchDurationMillis = 2000
a2.sources.r1.kafka.bootstrap.servers = node-201:9092
a2.sources.r1.kafka.zookeeperConnect = node-201:2181
a2.sources.r1.kafka.topics=topic_start

a2.sources.r2.type = org.apache.flume.source.kafka.KafkaSource
a2.sources.r2.batchSize = 5000
a2.sources.r2.batchDurationMillis = 2000
a2.sources.r2.kafka.bootstrap.servers = node-201:9092
a2.sources.r2.kafka.zookeeperConnect = node-201:2181
a2.sources.r2.kafka.topics=topic_event