Flume 1.8 写kafka到不同主题和不同分区 （随机）配置

最新推荐文章于 2023-06-29 20:03:29 发布
最新推荐文章于 2023-06-29 20:03:29 发布
阅读量1.2k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43654136/article/details/88552347
版权
本文详细介绍了如何使用Flume 1.8将日志数据根据正则表达式拦截器分类，并通过多路复用选择器发送到不同的Kafka主题。配置包括了拦截器设置、选择器规则以及Kafka sink的配置，确保日志根据特定头信息被正确路由到userOperLog、userBehavior和platFormSysLog三个不同的Kafka主题。
摘要由CSDN通过智能技术生成

logcollect.sources.taildir-source.interceptors =interceptor
logcollect.sources.taildir-source.interceptors.interceptor.type = regex_extractor

logcollect.sources.taildir-source.interceptors.interceptor.regex = .(UserBehaviorLog|UserOperLog|PlatFormSysLog).
logcollect.sources.taildir-source.interceptors.interceptor.serializers = s1
logcollect.sources.taildir-source.interceptors.interceptor.serializers.s1.name = key

selector

logcollect.sources.taildir-source.selector.type = multiplexing
logcollect.sources.taildir-source.selector.header = key

logcollect.sources.taildir-source.selector.mapping.UserOperLog = userOperLogChannel

logcollect.sources.taildir-source.selector.mapping.UserBehaviorLog= userBehaviorChannel
logcollect.sources.taildi

最低0.47元/天 解锁文章
猫哥Jagger Mao
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flume1.8安装部署
04-23
2. Flume-Ng 组件：包括 Agent、Channel、Sink 等组件，每个组件都有其特定的功能和配置项。 六、应用场景 1. 日志收集：使用 Flume 收集各种日志数据，例如应用程序日志、系统日志等。 2. 数据集成：使用 Flume ...
flume实现端口监听转发到kafka不同分区
aino0613的博客
07-10 604
1在 flume的配置文件下新建配置文件 flume-conf.properties.kafkaUdp a1.sources = r1 r2 a1.channels = c1 a1.sinks = k1 a1.sources.r1.type = syslogudp a1.sources.r1.channels = c1 a1.sources.r1.host = 192.168.1.219 a1.sources.r1.port = 10001 a1.sources.r2.type = syslogtcp
Flume 与 kafka 配置和使用
reylee的博客
11-30 711
1， 使用版本如下： flume-1.7.0 kafka-2.11.0 zookeeper-3. 4.9 2, 配置flume, 源数据基于 日志文件内容检测， sink为 kafka 的producer, 配置文件如下： a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the so
flume中 kafka sink flume自定义Interceptor实现消息分主题收集
weixin_46122692的博客
10-27 308
自定义 flume 拦截器类，并打包上传到 /flume/lib 下 import org.apache.flume.Context; import org.apache.flume.Event; import org.apache.flume.interceptor.Interceptor; import java.util.ArrayList; import java.util.List; import java.util.Map; /* 自定义flume 拦截器 */ public class Ka
利用Flume拦截器（interceptors）实现Kafka Sink的自定义规则多分区写入
java的平凡之路
03-24 4144
我们目前的业务场景如下：前端的5台日志收集服务器产生网站日志，使用Flume实时收集日志，并将日志发送至Kafka，然后Kafka中的日志一方面可以导入到HDFS，另一方面供实时计算模块使用。 前面的文章《Kafka分区机制介绍与示例》介绍过Kafka的分区机制。我们对Kafka中存储日志的Topic指定了多个分区，默认情况下，Kafka Sink在收到events之后，将会随机选择一个该Top
Flume均匀发送数据到kafka的partition配置UUID Interceptor生成key的坑
茅坤宝骏氹的博客
01-18 1266
一、需求 Flume向kafka发送数据时，同一个flume发送到kafka的数据总是固定在某一个partition中。而业务需求是发送的数据在所有的partition平均分布 二、实现 Flume的官方文档： KafkaSinkusesthetopicandkeypropertiesfromtheFlumeEventheaderstosendevents...
Flume配置文件kafkaSource
08-07
Flume配置文件kafkaSource 包含Intercepter,包含正则表达式。
flume1.8文档中文完整翻译版
07-09
3. 接收器（Sinks）：Flume的接收器有多种选择，如HDFSSink用于写入Hadoop分布式文件系统，HBaseSink用于写入HBase数据库，LoggerSink用于将数据记录到日志，还有KafkaSink用于将数据发送到Kafka主题。 三、Flume...
Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤
03-08
### Flume采集数据到Kafka,然后从Kafka取数据存储到HDFS的方法思路和完整步骤 #### 一、概述 随着大数据技术的发展，高效的数据采集、处理与存储变得尤为重要。本文将详细介绍如何利用Flume采集日志数据，并将其...
apache-flume1.8
07-11
1. **多种数据源支持**：Flume 支持多种类型的数据源，包括 HTTP、Avro、Thrift、Kafka 和 Syslog，这使得它能够从不同类型的系统中收集数据。 2. **高可用性**：通过复制通道（Replicating Channel）和故障切换...
Flink与Kafka版本对应关系
欢迎来到李奇峰的数据世界
01-13 8043
这边建议各位在使用Flink中Kafka连接器的时候，去Maven仓库中查看一下依赖，选用匹配的Flink与Kafka版本，避免出现异常。
kafka
highly2009的博客
03-27 288
1.概述 为方便扩展，并提高吞吐量，一个topic分为多个partition； 配合分区的设计，提出消费组的概念，组内每个消费者并行消费； 为提高可用性，为每个partition增加若干副本； zk中记录的是leader，2.8.0之后也可以配置不采用zk 2.入门 config下的Server.properties修改: broker.id=唯一标识 log.dirs = /opt/module/kafka/datas zookeeper.connect = xx.xx.xx
Flume发送到不同Kafka的topic
最新发布
jhfcgy的博客
06-29 212
【代码】Flume发送到不同Kafka的topic。
整合Flume+Kafka，把Flume采集不同级别的日志分别生产到Kafka 不同的Topic中
weixin_45857154的博客
03-18 975
解决方案： 1.flume端使用taildir source读取日志，利用interceptor给日志加上头信息key为topic，value为对应日志的主题，使用kafka sink输出到kafka 2.kafka端建立四个topic 分别对应hive日志的四个级别，通过java编写consumer由于info日志要有三个consumer消费，所以可以通过给info主题设置三个分区三个consu...
Kafka集群间同步数据方案-Flume
Learning_xzj的博客
10-24 3166
Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具。
Flume自定义Sink根据日志信息拆分日志成不同的Topic发送到Kafka中
尼克不可的博客
04-19 1710
前言: 最近因为疫情的原因嘛,就被一直关在了家里,也就有了大把的时间可以搞自己的事情,反正闲着也是闲着,就在家里在做一个项目,这个项目就是一个推荐系统,(后面我应该会专门来写一些博客来记录这一次的这个项目经历),在这个项目中呢有一个环节就是需要对HttpServer端产生的日志进行实时采集,然后再通过Spark 进行实时计算分析,关于日志的采集在本专题的前一篇文章中已经提到了,那样虽然也能把日志...
Flume 1.8.0读取Kafka写HDFS
Ricky点滴
07-25 1105
Flume 1.8.0读取Kafka写HDFS 环境准备 java version “1.8.0_45” Hadoop 2.6.0-cdh5.5.1 安装Flume wget http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz tar -xvf apache...
Flume+Kafka整合案例实现
热门推荐
夏天小厨的博客
12-17 2万+
  一、为什么要集成Flume和Kafka 我们很多人在在使用Flume和kafka时，都会问一句为什么要将Flume和Kafka集成？那首先就应该明白业务需求，一般使用Flume+Kafka架构都是希望完成实时流式的日志处理，后面再连接上Flink/Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。第一、如果Flume直接对接实时计算框架，当数据采集速...
Java简单整合Kafka实现生产者和消费者
叶梦
03-25 1647
1 准备 此处准备只做说明，具体准备可查阅相关资料实现 （1）准备zookeeper服务，可以是集群，也可以是单机： https://blog.csdn.net/qq_15092079/article/details/105079769； （2）准备kafka服务，可以是集群，也可以是单机： https://blog.csdn.net/qq_15092079/article/detail...
配置flume到kafka的生产者和消费者
05-20
2. 配置 Kafka：配置 Kafka 的服务器和主题，创建一个主题以供 Flume 发送数据。 3. 安装 Flume：安装 Flume 并添加 Kafka 的插件。 4. 配置 Flume：在 Flume 的配置文件中添加 Kafka 的插件，设置 Kafka 的主题和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值