将Kafka作为Flume的Source

最新推荐文章于 2024-08-17 23:53:30 发布

qq_26182553

最新推荐文章于 2024-08-17 23:53:30 发布

阅读量2.4k

点赞数

分类专栏： kafka/flume/sqoop

本文链接：https://blog.csdn.net/qq_26182553/article/details/75048558

版权

本文介绍了如何配置Flume以使用Kafka作为数据源。通过创建kafka-source.properties文件，然后启动Flume代理来读取Kafka中的数据。同时，启动Kafka的producer在mytopic主题中发送消息。

摘要由CSDN通过智能技术生成

1. 配置flume

kafka-source.properties

agent1.sources = source1  
agent1.channels = channel1  
agent1.sinks = sink1  
  
agent1.sources.source1.type = org.apache.flume.source.kafka.KafkaSource
agent1.sources.source1.batchSize = 5000
agent1.sources.source1.batchDurationMillis = 2000
agent1.sources.source1.kafka.bootstrap.servers = centos1:9092
agent1.sources.source1.kafka.topics = mytopic
agent1.sources.source1.kafka.consumer.group.id = group1
  
agent1.sinks.sink1.type=logger  
  
agent1.channels.channel1.type=memory  
agent1.channels.channel1.capacity=1000  
agent1.channels.channel1.transactionCapacity=100  
  
agent1.sources.source1.channels=channel1  
agent1.sinks.sink1.channel=channel1