flume监控: kafka输出到hdfs示例

最新推荐文章于 2024-04-04 22:13:40 发布

First_____

最新推荐文章于 2024-04-04 22:13:40 发布

阅读量2.1k

点赞数

分类专栏： flume 文章标签： flume

本文链接：https://blog.csdn.net/first_____/article/details/123770547

版权

需求:

 1.将kafka中的数据采集传输到hdfs当中
 2.采用的是lzo压缩的方式(也可以不采用压缩方式,flume官网有)
 3.这里使用的是两个主题kafka主题采集

a1.sources=r1 r2
a1.channels=c1 c2
a1.sinks=k1 k2

#  kafka source
a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.channels = c1
a1.sources.r1.batchSize = 5000
a1.sources.r1.batchDurationMillis = 2000
a1.sources.r1.kafka.bootstrap.servers = linux101:9092,linux102:9092,linux103:9092
a1.sources.r1.kafka.topics = topic_start

a1.