【硬刚Kafka】KAFKA基础（十五）：Flume对接Kafka

王知无(import_bigdata)

已于 2022-03-12 12:16:03 修改

阅读量469

点赞数

分类专栏： Kafka系统性学习专栏文章标签： kafka flume big data

于 2021-09-23 04:11:11 首次发布

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.csdn.net/u013411339/article/details/120426495

版权

Kafka系统性学习专栏专栏收录该内容

20 篇文章 1 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了如何使用Flume对接Kafka，包括简单的数据传输实现步骤和数据分离的方法。通过配置Flume Interceptor，实现了将不同类型的日志数据发送到Kafka的不同主题，如atguigu日志到first主题，shangguigu日志到second主题，其余数据到third主题。并提供了启动Flume和Kafka消费者进行验证的流程。

摘要由CSDN通过智能技术生成

本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Kafka部分补充。

1 简单实现

1）配置flume

# define
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F  /opt/module/data/flume.log

# sink
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.bootstrap.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.sinks.k1.kafka.topic = first
a1.sinks.k1.kafka.flumeBatchSize = 20
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.producer.linger.ms = 1

# channel
a

了解本专栏