Flume与Kafka对接

已于 2024-04-17 08:53:09 修改
阅读量998 收藏 12
点赞数 22
文章标签： flume kafka linq
于 2024-04-17 08:50:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61809177/article/details/137854871
版权

Flume对接Kafka

Flume组件： agent source channel sink

kafka组件： producer 节点集群服务器 **consumer **

1.形式1: FLume --> Kafka的对接

此时Flume中的sink是生产者， 让kafka来接收

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

1.1KafkaSink

将用flume监测端口数据,传送到 ksfka

(1)创建netcat-flume-kafka.conf 配置文件

[itwise@node2 ~]$ cd /opt/module/flume-1.9.0/jobs/
创建文件夹
[itwise@node2 jobs]$ mkdir flume--kafka
[itwise@node2 flume--kafka]$ vim netcat-flume-kafka.conf

配置文件如下:

#Named
a1.sources = r1
a1.channels = c1
a1.sinks = k1
#Source
a1.sources.r1.type = netcat
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 6666
#Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100
#Sink
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.bootstrap.servers = node2:9092,node3:9092,node4:9092
a1.sinks.k1.kafka.topic = flumetopic
a1.sinks.k1.kafka.flumeBatchSize = 100
a1.sinks.k1.useFlumeEventFormat = true
a1.sinks.k1.kafka.producer.acks = -1
#Bind
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

1.2运行:

启动一个node2窗口，创建一个消费者，消费kafka中的flumetopic中的数据

kafka-console-consumer.sh --bootstrap-server node2:9092 --topic flumetopic

再启动一个node2端口：运行如下命令

flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/flume--kafka/netcat-flume-kafka.conf -n a1 -Dflume.root.logger=INFO,console

启动第三监控窗口输入消息

nc localhost 6666

1.3运行截图:三合一

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

2. Flume -> Kafka : KafkaSink 多topic支持

此时Flume中的sink是生产者， 让kafka来接收,将flume管道多路复用

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

2.1创建配置文件netcat-flume-kafkatopic.conf

[itwise@node2 ~]$ cd /opt/module/flume-1.9.0/jobs/
[itwise@node2 flume--kafka]$ vim netcat-flume-kafkatopic.conf

配置文件如下:

#Named
a1.sources = r1
a1.channels = c1
a1.sinks = k1
#Source
a1.sources.r1.type = netcat
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 6666
#Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100
#Interceptor
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type =com.itwise.flume_kafka.Topics_Interceptor$MyBuilder
#Sink
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.bootstrap.servers =node2:9092,node3:9092,node4:9092
a1.sinks.k1.kafka.topic = topicother
a1.sinks.k1.kafka.flumeBatchSize = 100
a1.sinks.k1.useFlumeEventFormat = true
a1.sinks.k1.kafka.producer.acks = -1
#Bind
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

(2)编写java代码,接口实现数据分发到不同的topic上：

package com.itwise.kafka.flumeinterceptor;
import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;
import java.nio.charset.StandardCharsets;
import java.util.List;
public class DataValueInterceptor implements Interceptor {
@Override
public void initialize() {
}
@Override
public Event intercept(Event event) {
//实现逻辑 判断 //javaspring hadoop
String body = new String(event.getBody(), StandardCharsets.UTF_8);
if(body.startsWith("java")){
event.getHeaders().put("topic", "java");
}else if(body.startsWith("hadoop")){
event.getHeaders().put("topic", "hadoop");
}else{
event.getHeaders().put("topic", "other");
}
return event;
}
@Override
public List<Event> intercept(List<Event> list) {
for (Event event : list) {
intercept(event);
}
return list;
}
@Override
public void close() {
}
public static class MyBuilder implements Builder{
@Override
public Interceptor build() {
return new DataValueInterceptor();
}
@Override
public void configure(Context context) {
}
}
}

将自定义拦截器打包上传到flume的lib包下：

2.2启动命令：

[itwise@node2 ~]$ flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/flume--kafka/netcat-flume-kafkatopic.conf -n a1 -Dflume.root.logger=INFO,console

往端口发送数据：

nc localhost 6666

启动消费者3个：分别取访问：java hadoop other

kafka-topics.sh --list --bootstrap-server node2:9092
kafka-console-consumer.sh --bootstrap-server node2:9092 --topic java --from-beginning
kafka-console-consumer.sh --bootstrap-server node2:9092 --topic hadoop --from-beginning
kafka-console-consumer.sh --bootstrap-server node2:9092 --topic other --from-beginning

2.3演示:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

3. Kafka–>Flume : Kafka Source

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

3.1新建配置文件kafka-flume-logger.conf

#Named
a1.sources = r1
a1.channels = c1
a1.sinks = k1
#Source
a1.sources.r1.type =org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.kafka.bootstrap.servers =node2:9092,node3:9092
a1.sources.r1.kafka.topics = itwise
a1.sources.r1.kafka.consumer.group.id = flume
a1.sources.r1.batchSize = 100
a1.sources.r1.useFlumeEventFormat = false
#Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100
#Sink
a1.sinks.k1.type = logger
#Bind
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

3.2启动

1)flume消费者 运行代码;

flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/kafka--flume/kafka-flume-logger.conf -n a1 -Dflume.root.logger=INFO,console

2)启动一个kafka生产者：

查看列表
kafka-topics.sh --list --bootstrap-server node2:9092
查看主题状态
kafka-topics.sh --describe --bootstrap-server node2:9092 --topic itwise
使用生产者
kafka-console-producer.sh --topic itwise --broker-list node2:9092

3.3效果演示:

kafka生产者产生数据

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

flume消费者: 效果加了一个headers

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

4.KafkaChannel --> xxxSink

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

4.1创建一个配置文件：kafkachannel-flume-logger.conf

#Named
a1.channels = c1
a1.sinks = k1
#Source
#Channel
a1.channels.c1.type =org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers =node2:9092,node3:9092,node4:9092
a1.channels.c1.kafka.topic = itwise
a1.channels.c1.kafka.consumer.group.id = flume
#将offset提交方式设置为latest,最后数据
a1.channels.c1.kafka.consumer.auto.offset.reset = latest
a1.channels.c1.parseAsFlumeEvent = false
#Sink
a1.sinks.k1.type = logger
#Bind
a1.sinks.k1.channel = c1

4/2运行:

启动下游消费者flume

flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/kafka/kafkachannel-flume-logger.conf -n a1 -Dflume.root.logger=INFO,console

启动生产者 kafka

 kafka-console-producer.sh --topic itwise --broker-list node2:9092

4.3演示:

生产者

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

消费者:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

5.xxxSource --> KafkaChannel

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

5.1配置生产者文件 netcat-flume-kafkachannel.conf

#Named
a1.sources = r1
a1.channels = c1
#Source
a1.sources.r1.type = netcat
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 6666
#Channel
a1.channels.c1.type=org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers=node2:9092,node3:9092,node4:9092
a1.channels.c1.kafka.topic = itwise
a1.channels.c1.parseAsFlumeEvent = false
#Sink
#Bind
a1.sources.r1.channels = c1

5.2运行:

启动消费者 并且调动之前的数据:

kafka-console-consumer.sh --topic itwise --bootstrap-server node2:9092 --from-beginning

启动生产者录入数据

nc localhost 6666

flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/kafka/netcat-flume-kafkachannel.conf -n a1 -Dflume.root.logger=INFO,console

5.3演示:

生产者监控端口输入消息:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

kafka处理:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

消费者消费数据:加载之前的数据

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

nc localhost 6666

flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/kafka/netcat-flume-kafkachannel.conf -n a1 -Dflume.root.logger=INFO,console

5.3演示:

生产者监控端口输入消息:

[外链图片转存中…(img-K5dNNCGA-1713315009021)]

kafka处理:

[外链图片转存中…(img-RUbx6MQB-1713315009021)]

消费者消费数据:加载之前的数据

[外链图片转存中…(img-lGYHCcQ8-1713315009022)]

怯生QAQ
关注
  • 22
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
flume连接kafka_Flume体系结构
weixin_31889919的博客
12-27 142
Flume是一个分布式、可靠和可用的服务，可以有效的收集、聚合和传输大量的日志数据。它是一个基于数据流的简单而灵活的架构，有着健壮的可靠性、容错可调机制、故障转移和恢复机制。可以在线实时的分析数据。FlumeOG 和 FlumeNGFlume0.9.xFlume1.xNG相对于OG的优点•大大降低了对用户的要求，如核心组件的变化使得 Flume 的稳定使用不再依赖zookeeper，用户...
kafka入门 安装使用 flume连接kafka以及kafka API
weixin_42487460的博客
08-10 383
kafka入门为什么使用消息中间件（MQ）消息中间件中的术语Apache Kafkakafka安装flume连接导入单分区数据量大是使用多分区提高效率kafka Producer/Consumer API 为什么使用消息中间件（MQ） 异步调用 同步变异步 应用解耦 提供基于数据的接口层 流量削峰 缓解瞬时高流量压力 消息中间件中的术语 Broker：消息服务器，提供核心服务 Producer：消息生产者 Consumer：消息消费者 Topic：主题，发布订阅模式下的消息统一
6、Flume 对接 Kafka
wang_luwei的博客
12-25 736
六、Flume 对接 Kafka Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Source 1）配置 flume(flume-kafka.conf) # define a1.sources = r1 a1.sinks = k1 a1.channels = c1 # source a1.sources.r1.ty
图解Flume对接Kafka（附中文注释）
ArYe
05-11 3864
Kafka flume 拦截器 hdfs 时间戳 毫秒数
快速学习-Flume 对接 Kafka
01-20
第 6 章 Flume 对接 Kafka 1）配置 flume(flume-kafka.conf) # define a1.sources = r1 a1.sinks = k1 a1.channels = c1 # source a1.sources.r1.type = exec a1.sources.r1.command = tail -F -c +0 /opt/module/...
flume-kafka之日志数据模拟
06-02
通过java模拟生产环境的日志，flume监控指定目录，采集日志推送到kafka。具体内容可参考 “基于CDH5的flume-kafka对接”这篇
Flumel对接kafka.docx
12-13
在这个场景中，我们关注的是Flume如何与Kafka进行对接。 **Flume拦截器（Interceptor）** Flume 允许自定义拦截器来处理事件，以在数据流入系统之前进行预处理。在提供的代码中，我们看到一个名为 `Interceptor` ...
基于spark+flume+kafka+hbase的实时日志处理分析系统.zip
07-31
实时数据处理：Kafka + Spark Streaming 数据应用层：MLlib 产生一个模型 als算法 数据展示和对接：Zeppelin 选用考量： HDFS不管是在存储的性能，稳定性 吞吐量 都是在主流文件系统中很占有优势的 如果感觉HDFS...
大数据技术之Kafka教程
04-28
Kafka是一个分布式的基于发布/订阅模式的消息队列，主要...第六章 Flume对接Kafka。。。。。。。。。。。。。。。。。。。。。。。。。。 第七章 Kafka面试题。。。。。。。。。。。。。。。。。。。。。。。。。。。
Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤
03-08
自己研究大数据多年，写的一个日志数据采集方案笔记，可快速熟悉Flume，Kafka，Hdfs的操作使用，以及相互的操作接口。
Flume 整合 Kafka
最新发布
shangjg3的博客
10-16 1130
以实时流处理项目为例，由于采集的数据量可能存在峰值和峰谷，假设是一个电商项目，那么峰值通常出现在秒杀时，这时如果直接将 Flume 聚合后的数据输入到 Storm 等分布式计算框架中，可能就会超过集群的处理能力，这时采用 Kafka 就可以起到削峰的作用。Kafka 天生为大数据场景而设计，具有高吞吐的特性，能很好地抗住峰值数据的冲击。这里我们监听一个名为 `kafka.log` 的文件，当文件内容有变化时，将新增加的内容发送到 Kafka 的 `flume-kafka` 主题上。5. 启动Flume。
flume集群高可用连接kafka集群
pysense的博客
12-05 1725
文章目录前言1、在kafka集群上创建相应的topic2、单节点配置flume的agent sink为sink2.1 配置flume 文件2.2 测试数据消费情况3 、flume NG集群连接kafka集群 前言   在前面blog文章中：《在hadoopHA节点上部署flume高可用组件》和《在hadoopHA节点上部署kafka集群组件》，已经实现大数据实时数据流传输两大组件的部署和测试，本文...
Kafka和Flume连接
金啊豆嘞的博客
09-13 998
Kafka Source 即将flume作为kafka的消费者，kafka后面对接flume。 flume从kfaka里面读取数据。 配置文件如下： a1.sources = r1 a1.channels = c1 a1.sinks = k1 a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource a1.sources.r1.kafka.bootstrap.servers = node01:9092,node02:9092,node0
Flume对接Kafka详细过程
热门推荐
奋斗不息，编码不止
01-04 1万+
一、为什么要集成Flume和Kafka 一般使用Flume+Kafka架构都是希望完成实时流式的日志处理，后面再连接上Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。如果Flume直接对接实时计算框架，当数据采集速度大于数据处理速度，很容易发生数据堆积或者数据丢失，而kafka可以当做一个消息缓存队列，从广义上理解，把它当做一个数据库，可以存放一段时间的数据。 因此数据从数据源到flume再到Kafka时，数据一方面可以同步到HDFS做离线计算，另一方面可以做实时计
Flume对接kafka
m0_58342743的博客
11-07 569
1.简单的对接 需求： 使用收集控制台的信息存储再kafka并用kafka消费者消费 Flume配置文件： # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = 0.0.0.0 a1.sources.r1.port = 444
在Windows下的flume 安装，部署及和kafka组合使用
hhjdshz的博客
04-06 7995
一，Windows下配置环境变量 此电脑->右键属性->系统->高级系统设置->环境变量 （1） 环境变量名：FLUME_HOME 变量值：就是安装的flume的路径 例如我自己的是：FLUME_HOME；E:\flume\apache-flume-1.9.0-bin （2）在path变量中添加 %FLUME_HOME%\conf;%FLUME_HOME%\bin;然后依次保存我们所做的修改即可。编辑apache-flume-1.9.0-bin\conf 下的flu..
flume消费kafka数据太慢_windows Flume环境配置,Flume与Kafka 整合
weixin_39822728的博客
11-21 239
一、Flume环境配置Flume下载地址：http://archive.apache.org/dist/flume/下载后解压：1、进入conf 目录，windows环境下修改flume-env.ps1.template为flume-env.ps12、环境变量配置FLUME_HOME：C:softwareapache-flume-1.7.0-bin在path变量中添加 %FLUME_HOME%co...
flume 配置kafka
08-24
要配置Flume与Kafka的集成，可以按照以下步骤进行操作： 1. 首先，需要在Flume的配置文件中定义source、sink和channel。其中，source指定为Kafka的source端，sink指定为Kafka的sink端，channel用于在source和sink之间传递数据。配置文件中的示例配置可以参考引用中的flume-kafka.conf。 2. 如果要将Kafka作为source端，需要在配置文件中设置source的类型为kafka，并指定Kafka的相关参数，如Kafka的地址、topic名称等。 3. 启动Flume之前，确保Zookeeper和Kafka已经成功启动。因为Flume在启动时会连接Kafka，如果Kafka未启动，会导致连接错误。参考引用中的说明。 4. 如果要将Kafka作为sink端，需要在配置文件中设置sink的类型为kafka，并指定Kafka的相关参数，如Kafka的地址、topic名称等。 5. 在启动Flume之前，需要确保Zookeeper集群和Kafka集群已经成功启动。 6. 可以使用命令行创建和查看Kafka的topic，以及创建Kafka的消费者。具体命令可以根据实际需求进行设置。 7. 启动Flume，并发送消息到Flume的端口。 8. 在Kafka的消费者中接收消息，验证数据是否成功传输。 需要注意的是，在配置Flume和Kafka的过程中，需要根据实际情况调整相关参数，确保Flume和Kafka能够正确地进行数据传输和接收。配置文件的具体内容可以参考引用中的示例配置。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Flume对接Kafka详细过程](https://blog.csdn.net/qq_47183158/article/details/112179052)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [玩转Flume+Kafka原来也就那点事儿](https://blog.csdn.net/weixin_34189116/article/details/89658220)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [快速学习-Flume 对接 Kafka](https://download.csdn.net/download/weixin_38592548/14885746)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值