使用flume 读取数据 sink到kafka中消费者读出

最新推荐文章于 2022-04-20 15:26:12 发布

孙彬不像个好程序员

最新推荐文章于 2022-04-20 15:26:12 发布

阅读量349

点赞数

分类专栏：大数据文章标签： flume

本文链接：https://blog.csdn.net/sunbin11220904/article/details/108107331

版权

本文档展示了如何使用Flume从users.csv和usersfriends.csv文件中读取数据，并将这些数据发送到Kafka，以便进一步的处理和消费。配置文件详细说明了Flume的数据流向。

摘要由CSDN通过智能技术生成

用flume 读取users.csv 传出到kafka读取 .conf 文件如下

users.sources=usersSource
users.channels =usersChannel
users.sinks =usersSink

users.sources.usersSource.type = spooldir
users.sources.usersSource.spoolDir=/opt/kb07file/flumeFile/users
users.sources.usersSource.deserializer = LINE
users.sources.usersSource.deserializer.maxLineLength =3000
users.sources.usersSource.includePattern= user_[0-9]{
   4}-[0-9]{
   2}-[0-