Flume对接Kafka

最新推荐文章于 2024-04-17 08:50:21 发布
最新推荐文章于 2024-04-17 08:50:21 发布
阅读量961 收藏 10
点赞数 16
文章标签： flume kafka linq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61809177/article/details/137854790
版权
本文详细介绍了如何在Flume中使用KafkaSink进行数据传输，包括单topic和多topic场景下的配置，以及如何通过自定义Interceptor实现数据路由到不同Kafka主题。还展示了如何配置KafkaSource从Kafka消费数据并传递给FlumeChannel。
摘要由CSDN通过智能技术生成

#Flume对接Kafka

Flume组件： agent source channel sink

kafka组件： producer 节点集群服务器 **consumer **

1.形式1: FLume --> Kafka的对接

此时Flume中的sink是生产者， 让kafka来接收

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

1.1KafkaSink

将用flume监测端口数据,传送到 ksfka

(1)创建netcat-flume-kafka.conf 配置文件

[itwise@node2 ~]$ cd /opt/module/flume-1.9.0/jobs/
创建文件夹
[itwise@node2 jobs]$ mkdir flume--kafka
[itwise@node2 flume--kafka]$ vim netcat-flume-kafka.conf

配置文件如下:

#Named
a1.sources = r1
a1.channels = c1
a1.sinks = k1
#Source
a1.sources.r1.type = netcat
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 6666
#Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100
#Sink
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.bootstrap.servers = node2:9092,node3:9092,node4:9092
a1.sinks.k1.kafka.topic = flumetopic
a1.sinks.k1.kafka.flumeBatchSize = 100
a1.sinks.k1.useFlumeEventFormat = true
a1.sinks.k1.kafka.producer.acks = -1
#Bind
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

1.2运行:

启动一个node2窗口，创建一个消费者，消费kafka中的flumetopic中的数据

kafka-console-consumer.sh --bootstrap-server node2:9092 --topic flumetopic

再启动一个node2端口：运行如下命令

flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/flume--kafka/netcat-flume-kafka.conf -n a1 -Dflume.root.logger=INFO,console

启动第三监控窗口输入消息

nc localhost 6666

1.3运行截图:三合一

2. Flume -> Kafka : KafkaSink 多topic支持

此时Flume中的sink是生产者， 让kafka来接收,将flume管道多路复用

2.1创建配置文件netcat-flume-kafkatopic.conf

[itwise@node2 ~]$ cd /opt/module/flume-1.9.0/jobs/
[itwise@node2 flume--kafka]$ vim netcat-flume-kafkatopic.conf

配置文件如下:

#Named
a1.sources = r1
a1.channels = c1
a1.sinks = k1
#Source
a1.sources.r1.type = netcat
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 6666
#Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100
#Interceptor
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type =com.itwise.flume_kafka.Topics_Interceptor$MyBuilder
#Sink
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.bootstrap.servers =node2:9092,node3:9092,node4:9092
a1.sinks.k1.kafka.topic = topicother
a1.sinks.k1.kafka.flumeBatchSize = 100
a1.sinks.k1.useFlumeEventFormat = true
a1.sinks.k1.kafka.producer.acks = -1
#Bind
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

(2)编写java代码,接口实现数据分发到不同的topic上：

package com.itwise.kafka.flumeinterceptor;
import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;
import java.nio.charset.StandardCharsets;
import java.util.List;
public class DataValueInterceptor implements Interceptor {
@Override
public void initialize() {
}
@Override
public Event intercept(Event event) {
//实现逻辑 判断 //javaspring hadoop
String body = new String(event.getBody(), StandardCharsets.UTF_8);
if(body.startsWith("java")){
event.getHeaders().put("topic", "java");
}else if(body.startsWith("hadoop")){
event.getHeaders().put("topic", "hadoop");
}else{
event.getHeaders().put("topic", "other");
}
return event;
}
@Override
public List<Event> intercept(List<Event> list) {
for (Event event : list) {
intercept(event);
}
return list;
}
@Override
public void close() {
}
public static class MyBuilder implements Builder{
@Override
public Interceptor build() {
return new DataValueInterceptor();
}
@Override
public void configure(Context context) {
}
}
}

将自定义拦截器打包上传到flume的lib包下：

2.2启动命令：

[itwise@node2 ~]$ flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/flume--kafka/netcat-flume-kafkatopic.conf -n a1 -Dflume.root.logger=INFO,console

往端口发送数据：

nc localhost 6666

启动消费者3个：分别取访问：java hadoop other


```bash
```xml
kafka-topics.sh --list --bootstrap-server node2:9092
kafka-console-consumer.sh --bootstrap-server node2:9092 --topic java --from-beginning
kafka-console-consumer.sh --bootstrap-server node2:9092 --topic hadoop --from-beginning
kafka-console-consumer.sh --bootstrap-server node2:9092 --topic other --from-beginning

2.3演示:

3. Kafka–>Flume : Kafka Source

3.1新建配置文件kafka-flume-logger.conf

#Named
a1.sources = r1
a1.channels = c1
a1.sinks = k1
#Source
a1.sources.r1.type =org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.kafka.bootstrap.servers =node2:9092,node3:9092
a1.sources.r1.kafka.topics = itwise
a1.sources.r1.kafka.consumer.group.id = flume
a1.sources.r1.batchSize = 100
a1.sources.r1.useFlumeEventFormat = false
#Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100
#Sink
a1.sinks.k1.type = logger
#Bind
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

3.2启动

1)flume消费者 运行代码;

flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/kafka--flume/kafka-flume-logger.conf -n a1 -Dflume.root.logger=INFO,console

2)启动一个kafka生产者：

查看列表
kafka-topics.sh --list --bootstrap-server node2:9092
查看主题状态
kafka-topics.sh --describe --bootstrap-server node2:9092 --topic itwise
使用生产者
kafka-console-producer.sh --topic itwise --broker-list node2:9092

3.3效果演示:

kafka生产者产生数据

flume消费者: 效果加了一个headers

4.KafkaChannel --> xxxSink

4.1创建一个配置文件：kafkachannel-flume-logger.conf

#Named
a1.channels = c1
a1.sinks = k1
#Source
#Channel
a1.channels.c1.type =org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers =node2:9092,node3:9092,node4:9092
a1.channels.c1.kafka.topic = itwise
a1.channels.c1.kafka.consumer.group.id = flume
#将offset提交方式设置为latest,最后数据
a1.channels.c1.kafka.consumer.auto.offset.reset = latest
a1.channels.c1.parseAsFlumeEvent = false
#Sink
a1.sinks.k1.type = logger
#Bind
a1.sinks.k1.channel = c1

4/2运行:

启动下游消费者flume

flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/kafka/kafkachannel-flume-logger.conf -n a1 -Dflume.root.logger=INFO,console

启动生产者 kafka

 kafka-console-producer.sh --topic itwise --broker-list node2:9092

4.3演示:

生产者

消费者:

5.xxxSource --> KafkaChannel

5.1配置生产者文件 netcat-flume-kafkachannel.conf

#Named
a1.sources = r1
a1.channels = c1
#Source
a1.sources.r1.type = netcat
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 6666
#Channel
a1.channels.c1.type=org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers=node2:9092,node3:9092,node4:9092
a1.channels.c1.kafka.topic = itwise
a1.channels.c1.parseAsFlumeEvent = false
#Sink
#Bind
a1.sources.r1.channels = c1

5.2运行:

启动消费者 并且调动之前的数据:

kafka-console-consumer.sh --topic itwise --bootstrap-server node2:9092 --from-beginning

启动生产者录入数据

nc localhost 6666

flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/kafka/netcat-flume-kafkachannel.conf -n a1 -Dflume.root.logger=INFO,console

5.3演示:

生产者监控端口输入消息:

kafka处理:

消费者消费数据:加载之前的数据

nc localhost 6666

flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/kafka/netcat-flume-kafkachannel.conf -n a1 -Dflume.root.logger=INFO,console

5.3演示:

生产者监控端口输入消息:

[外链图片转存中…(img-ClM0hW4e-1713314816702)]

kafka处理:

[外链图片转存中…(img-t1OFnSEx-1713314816702)]

消费者消费数据:加载之前的数据

[外链图片转存中…(img-Zyp4XGh1-1713314816702)]

怯生QAQ
关注
Flume与Kafka整合
爱偷吃香蕉的萌猴子
04-11 1242
Flume与Kakfa整合flume官方下载地址：https://flume.apache.org/download.html建议下载最新的1.6.0版本的，因为1.6.0版本的集成了整合kafka的插件包可以直接配置使用 1、下载并解压apache-flume-1.6.0-bin.tar.gz包通过tar –zxvf apache-flume-1.6.0-bin.tar.gz命令解压压缩文件Flu
windows系统flume数据传给kafka
m0_37847641的博客
07-18 1250
1、安装zookeeper 更改flume配置为kafka # Describe the sink # a1.sinks.k1.type = logger  # 指定Flume sink a1.sinks.k1.channel = c1 a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topi...
Flume（三）Flume 整合 Kafka
weixin_42073629的博客
10-07 237
一、背景 先说一下，为什么要使用 Flume + Kafka？ 以实时流处理项目为例，由于采集的数据量可能存在峰值和峰谷，假设是一个电商项目，那么峰值通常出现在秒杀时，这时如果直接将 Flume 聚合后的数据输入到 Storm 等分布式计算框架中，可能就会超过集群的处理能力，这时采用 Kafka 就可以起到削峰的作用。Kafka 天生为大数据场景而设计，具有高吞吐的特性，能很好地抗住峰值数据的冲击。 二、整合流程 Flume 发送数据到 Kafka 上主要是通过KafkaSink来实现的，主..
从flume到kafka，日志收集
weixin_30752699的博客
02-29 99
实时日志分析： 本篇文章主要测试 从flume到kafka的日志收集，storm日志分析，学习中！ flume 配置文件 #collector collector.sources=cs collector.sinks=ck hbaseSink collector.channels=cc hbaseChannel collector.sources.cs...
Flume与Kafka对接
qq_61809177的博客
04-17 1343
Flume组件： agent source channel sinkkafka组件：节点集群服务器 **consumer **
快速学习-Flume 对接 Kafka
01-20
在本教程中，我们将快速学习如何使用Apache Flume对接Apache Kafka，以便高效地收集和传输日志数据。Flume是一个可靠、分布式的数据收集系统，而Kafka则是一个高吞吐量的分布式发布订阅消息系统。通过Flume与Kafka的...
Flume对接kafka
m0_58342743的博客
11-07 581
1.简单的对接 需求： 使用收集控制台的信息存储再kafka并用kafka消费者消费 Flume配置文件： # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = 0.0.0.0 a1.sources.r1.port = 444
【Kafka】使用Flume对接Kafka
HR的博客
12-31 847
使用Flume对接Kafka 本篇需要用到Kafka与Flume，需要提前安装好两个软件，若还没安装，推荐先浏览下面推荐内容 Kafka的安装与基本命令的使用. Flume的初步认识. 思考:为什么要将Kafka与Flume对接起来？ 答：在实际工作中，Flume主要是用来采集日志文件的，并且用户文件一般不是单单的只给一个用户，可能会发送给多个用户。发送给的用户数可能也是不固定的，需要随时变换，而Flume却不能做到动态的增加、减少，所以我们可以使用Kafka配合着Flume来解决这一问题。 在
Flume对接Kafka的实例
homeeko的博客
06-09 6904
Kafka组件特点 　　kafka实际上是一个消息发布订阅系统。Producer向某个Topic发布消息，而Consumer订阅某个Topic的消息。一旦有新的关于某个Topic的消息，Broker会传递给订阅它的所有Consumer。 　　建议采用Flume作为数据的生产者，这样可以不用编程就实现数据源的引入，并采用Kafka Sink作为数据的消费者，这样可以得到较高的吞吐量和可靠性。如果
kafka基础【数据重复消费、自定义拦截器、flume对接kafka、eagle监视器】
weixin_43923463的博客
05-15 504
文章目录一 数据漏消费和重复消费二 自定义Interceptor1 案例需求2 TimeInterceptor类3 CountInterceptor类4 在producer中添加几条语句三 Flume对接kafka1 配置文件2 案例实操四 kafka监控（Eagle） 一 数据漏消费和重复消费 无论是同步提交还是异步提交offset，都有可能会造成数据的漏消费或者重复消费。先提交offset后消费，有可能造成数据的漏消费；而先消费后提交offset，有可能会造成数据的重复消费。 重复消费解决方案： （1）
kafka flume 整合
06-11
flume skin 直连kafka，kafka安装过程和flume配置样例，下载下来即可安装一个生产可用的日志采集系统
Flume到Kafka
菜鸟也学大数据的博客
12-08 190
Kafka创建Topic 创建Topic：fk_raw kafka-topics.sh --create --zookeeper 192.168.**.**:2181 --topic fk_raw --partitions 1 --replication-factor 1 Flume创建agent 在flume/conf目录下创建：vi /opt/flume/conf/fk.conf 输入以下内容 #定义sources名称 fk.sources=fkSource #定义channels名称 fk.
Flume到kafka
m0_63449353的博客
11-16 550
# Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = exec a1.sources.r1.command = tail -F -n +0 /opt/module/flume-1.7.0/data.csv a1.sources.r1.shell = /bin/bash -c # Desc.
flume 整合 kafka
weixin_30908941的博客
11-22 109
flume 整合 kafka： flume：高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 kafka：分布式的流数据平台。 flume 采集业务日志，发送到kafka 一、安装部署Kafka Download 1.0.0 is the latest release. The current stable version is 1.0.0. You c...
flume与kafka整合
csmnjk的专栏
04-17 508
一. flume安装配置1. flume下载：http://archive.apache.org/dist/flume/2. fulme部署：上传rz，解压：tar zxvfapache-flume-1.7.0-bin.tar.gz 二. flume的kafka配置1. 配置Kafka信息   新建kafka-conf.properties，上传至flume的apache-flume-1.7.0-...
Flume+Kafka整合
fly_time2012的专栏
02-23 763
1.下载flume-kafka-plus:https://github.com/beyondj2ee/flumeng-kafka-plugin 在该项目中提取以下jar包放入环境中flume的lib下 还有package目录的flumeng-kafka-plugin.jar包一并放到flume的lib目录下 flume配置文件： #agent producer.sources = ...
Flume对接Kafka头歌
最新发布
09-25
Flume提供了一个内置的KafkaSink，可以用来将Flume事件队列中的数据发布到Kafka主题（Topic）。要配置Flume将数据推送到Kafka，你需要： 1. **添加依赖**：在Flume的配置文件（如`flume-conf.xml`）中，引入Kafka...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值