Flume拦截器

最新推荐文章于 2023-04-29 17:04:11 发布
最新推荐文章于 2023-04-29 17:04:11 发布
阅读量1k 收藏
点赞数
文章标签： flume big data 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45151645/article/details/121970787
版权
本文探讨了Flume拦截器在处理大数据流时的作用，特别是针对非JSON格式的数据过滤。在第一层Flume中，使用taildir source配合自定义拦截器排除非JSON数据，并利用kafka channel优化效率。而在kafka 1.6和1.7版本中，针对channel存在的不同问题进行了说明。第二层Flume采用kafka source和时间戳拦截器解决零点漂移问题，并通过file Channel将数据写入HDFS，配置useLocalTimeStamp和codec确保文件按照时间戳落盘并选择合适的压缩格式。
摘要由CSDN通过智能技术生成

关于Flume拦截器的问题：

​ flume官方文档：https://flume.apache.org/documentation.html

​ 当我们采用flume - kafka - flume的中间件：

​ 第一层flume:

#为各组件命名
a1.sources = r1
a1.channels = c1

#描述source
a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /opt/module/applog/log/app.*
a1.sources.r1.positionFile = /opt/module/flume/taildir_position.json
a1.sources.r1.interceptors =  i1
a1.sources.r1.interceptors.i1.type = com.atguigu.ETLInterceptor$MyBuilder

#描述channel
a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers = hadoop102:9092,hadoop103:9092，hadooop104:9092
a1.channels.c1.kafka.topic = topic_log
a1.channels.c1.parseAsFlumeEvent = false

#绑定source和channel以及sink和channel的关系
a1.sources.r1.channels = c1

​ taildir source:

taildir_position.json存储的文件格式：
最低0.47元/天 解锁文章
红枣枸杞配茶
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
flume系列之：拦截器过滤数据
zhengzaifeidelushang的博客
07-05 761
flume系列之：拦截器过滤数据
flume自定义拦截器
qq_23206147的博客
02-24 188
1.定义一个类实现flume的intercepter package com.nebula.flume; import java.nio.charset.Charset; import java.util.ArrayList; import java.util.List; import java.util.Map; import org.apache.flume.Context; impor...
Flume自定义拦截器
FlatTiger的博客
04-07 1518
需求 定义两个拦截器，一个用于过滤不合法数据，一个用于区分日志类型。 ETL拦截器主要用于，过滤时间戳不合法和Json数据不完整的日志。 日志类型区分拦截器主要用于，将启动日志和事件日志区分开来，方便发往Kafka的不同Topic。 导入依赖 <dependencies> <dependency> <groupId>org.apache.flume</groupId> <artifac
flume拦截器
沉淀的博客
06-14 298
@Override public Event intercept(Event event) { logger.info("----------intercept(Event event)方法执行，处理单个event"); logger.info("----------接收到的自定义拦截器参数值param值为：" + param); /* 这里编写event的处理代...
flume拦截器-校验kafka消费的数据是否为json数据
最新发布
m0_66913780的博客
04-29 240
开启kafka的消费者 消费的主题是first，对应file_to_kafka.conf文件中的主题。如：echo "{a:1}">app.log。如 ：echo "{id">>app.log。最后我们紧接着在追加一个数据：echo "{id:4}">>app.log。编写flume/job/file_to_kafka.conf。那么消费端就不会有数据了，说明拦截成功了。因为监控的是applog下的所有文件。首先我们在java中编写拦截器代码。就有可以在消费端看见数据了。在消费端就能看见数据。
Flume-拦截器interceptors
扛着锄头的码农
05-25 367
Flume-拦截器interceptors 一、timestamp和hostname拦截器 #set agent name a1.sources=r1 a1.channels=c1 a1.sinks=k1 #set channels a1.channels.c1.type=memory a1.channels.c1.capacity=10000 a1.channels.c1.transactionCapacity=1000 #set sources a1.sources.r1.type=avro a1.
Flume定制拦截器 Interceptor 实战
大树叶 技术专栏
12-10 502
拦截器是简单的插件式组件，设置在source和channel之间。source接收到的时间，在写入channel之前，拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。flume官方实现了很多拦截器也可以自定义拦截器。通过实现自定义的拦截器可以对日志进行ETL。 自定义拦截器只需要实现Interceptor的继承类。例子代码如下(经过测试检验过的）。 Java...
flume过滤器
07-18
flume过滤器，用于解析source，然后根据规则sink到不同的路径
Flume 数据采集
liuwei0376的专栏
07-12 3702
（1）在/home/bigdata_admin/bin目录下创建脚本xcall.sh[bigdata_admin@hadoop102 bin]$ vim xcall.sh（2）在脚本中编写如下内容 （3）修改脚本执行权限[bigdata_admin@hadoop102 bin]$ chmod 777 xcall.sh（4）启动脚本[bigdata_admin@hadoop102 bin]$ xcall.sh jps1）安装步骤略2）项目经验（1）项目经验之HDFS存储多目录虚拟机的项目不需要配置，我们只
Flume之项目实战
lslslslslss的博客
12-27 695
目录 一、多路复用及拦截器的使用 二、复制 三、聚合 一、多路复用及拦截器的使用 需求：使用Flume采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。（区分数字和字母，将其发往不同的系统） 一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到Flume的channelselecter中的Multiplexing结构，Multiplexing的原理是，根据event中Header的某个key的值...
自定义flume拦截器-实现了多种功能
热门推荐
第一片心意的博客
06-21 1万+
1. 自定义拦截器实现说明 1. 实现interceptor接口，并实现其方法，接口完全限定名为：org.apache.flume.interceptor.Interceptor; 2. 自定义拦截器内部添加静态内部类，实现Builder接口，并实现其方法，接口完全限定名为：Interceptor.Builder 以下是最简单的代码示例（每个方法的作用都有注释说明）：......
Flume中的拦截器（Interceptor）介绍与使用（一）
java的平凡之路
03-24 1万+
Flume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有用，Flume-ng 1.6中目前提供了以下拦截器： Timestamp Interceptor； Host Interceptor； Static Interce
Flume Kafka Source、正则拦截器、HDFS Sink
王佩的CSDN博客
06-17 3270
Flume中常用Kafka Source、正则拦截器、HDFS Sink,这里把需要注意的点做一下总结,并实现数据根据事件时间和事件类型落到HDFS。 Kafka Source 配置 # source类型 agent.sources.s1.type = org.apache.flume.source.kafka.KafkaSource # kafka brokers列表 agen...
Flume拦截器(interceptor)详解和静态拦截器综合案例
LO_Bear的博客
06-28 1473
目录 一、Flume拦截器(interceptor)介绍 二、Flume内置的拦截器 1、时间戳拦截器 2、主机拦截器 3、静态拦截器 4、正则过滤拦截器 三、静态拦截器综合案例实现 1. 案例场景 2. 场景分析 3. 数据流程处理分析 4. 实现 一、Flume拦截器(interceptor)介绍         拦截器是简单的插件式组件，设置...
Flume编写拦截器
张俊杰 的博客
10-20 851
前提 已经安装了Kafka Flume Zookeeper 编写Flume拦截器 <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.7.0</version> </dependency> MyInterceptor import java
Flume（flume自带拦截器、自定义拦截器）
qq_42005540的博客
06-06 1325
Flume自带拦截器、自定义拦截器一、Flume自带的拦截器二、自定义拦截器 一、Flume自带的拦截器 示例1： 具体实现： 通过正则表达式，过滤掉匹配上的消息，这里是以user开头的消息 实现一个source传向2个通道，两个sink将两个通道的数据分别传入Kafka和hdfs 配置文件： 定义三个组件： //agent组件的三部分的初始化定义 train.sources=trainSource train.channels=kafkaChannel hdfsChannel train.sinks=ka
帮我编写编写Flume拦截器
04-05
下面是一个简单的Flume拦截器示例，它将日志记录在文件中并添加一个时间戳： ``` package com.example.flume.interceptor; import org.apache.flume.Context; import org.apache.flume.Event; import org.apache....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值