flume连接到kafka配置文件编写

最新推荐文章于 2024-11-24 06:00:00 发布

白修修

最新推荐文章于 2024-11-24 06:00:00 发布

阅读量967

点赞数

分类专栏： kafka flume 文章标签： flume kafka

本文链接：https://blog.csdn.net/weixin_41639302/article/details/108100500

版权

本文介绍了如何使用Flume连接到Kafka进行数据传输，重点在于配置文件的编写，特别是sinks部分，同时展示了Flume同时将数据发送到Kafka和HDFS的实现。

摘要由CSDN通过智能技术生成

flume像要连接到kafka主要需要编写sinks的配置，其他的正常用spooldir的配置就行
话不多说，直接上代码

user_friends.sources = userFriendSource
user_friends.channels = userFriendChannel
user_friends.sinks = userFriendSink

user_friends.sources.userFriendSource.type = spooldir
user_friends.sources.userFriendSource.spoolDir = /opt/kb07file/flumeFile/user_friends/
user_friends.sources.userFriendSource.deserializer = LINE
user_friends.sources.userFriendSource.deserializer.maxLineLength = 60000
user_friends.sources.userFriendSource.includePattern = userFriends_[0-9]