Kafka和Flume连接

最新推荐文章于 2024-05-28 09:37:18 发布

人畜无害的萌新史莱姆

最新推荐文章于 2024-05-28 09:37:18 发布

阅读量1k

点赞数

分类专栏：大数据开发文章标签： kafka flume

本文链接：https://blog.csdn.net/qq_38762390/article/details/120268727

版权

本文介绍了如何使用Flume作为Kafka的消费者和生产者。Kafka Source用于从Kafka中读取数据，而Kafka Sink则将Flume的数据写入Kafka。配置文件的设置和运行步骤包括启动Flume、Kafka消费者以及通过端口写入数据到Kafka Channel。

摘要由CSDN通过智能技术生成

Kafka Source

即将flume作为kafka的消费者，kafka后面对接flume。
flume从kfaka里面读取数据。
在这里插入图片描述

配置文件如下：

a1.sources = r1
a1.channels = c1
a1.sinks = k1

a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.kafka.bootstrap.servers = node01:9092,node02:9092,node03:9092
a1.sources.r1.kafka.topics = kafkasource
a1.sources.r1.kafka.consumer.group.id = flume
a1.sources.r1.useFlumeEventFormat = false

a1.channels.c1.type