kafka对接flume

最新推荐文章于 2024-11-12 20:51:52 发布

luoyunfan6

最新推荐文章于 2024-11-12 20:51:52 发布

阅读量273

点赞数

分类专栏： kafka 数据采集文章标签： kafka flume

本文链接：https://blog.csdn.net/luoyunfan6/article/details/103056403

版权

本文档详细介绍了如何配置Flume文件(flume2kafka.properties)，启动Flume进程，开启Kafka消费者，通过nc命令向Flume发送消息，并验证Kafka是否成功接收数据的过程。

摘要由CSDN通过智能技术生成

首先配置flume文件的信息(flume2kafka.properties)

# flume-kafka.properties: 用来定制agent的各个组件的行为（source,channel,sink）
############################################
# 对各个组件的描述说明
# 其中a1为agent的名字
# r1是a1的source的代号名字
# c1是a1的channel的代号名字
# k1是a1的sink的代号名字
############################################
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 用于描述source的，类型是netcat网络，telnet 
a1.sources.r1.type = netcat
# source监听的网络ip地址和端口号
a1.sources.r1.bind = mini1
a1.sources.r1.port = 44444

# 用于描述channel，在内存中做数据的临时的存储
a1.channels.c1.type = memory
# 该内存中最大的存储容量，1000个events事件
a1.channels.c1.capacity = 1000
# 能够同时对100个events事件监管事务
a1.channels.c1.transactionCapacity = 100

# 用于描述sink，类型是日志格式，用于定制消息发布方的参数
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.topic = hive
a1.sinks.k1.brokerList = mini1:9092,mini2:9092,mini3:9092
a1.sinks.k1.requiredAcks = 1
a1.s