Flume 拦截器(interceptor)详解

最新推荐文章于 2024-05-07 15:38:45 发布
最新推荐文章于 2024-05-07 15:38:45 发布
阅读量762 收藏 1
点赞数
文章标签： java 大数据 linux hadoop flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42007892/article/details/122423378
版权

flume 拦截器(interceptor)1、flume拦截器介绍拦截器是简单的插件式组件，设置在source和channel之间。source接收到的事件event，在写入channel之前，拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。2、flume内置的拦截器

2.1 时间戳拦截器flume中一个最经常使用的拦截器 ，该拦截器的作用是将时间戳插入到flume的事件报头中。如果不使用任何拦截器，flume接受到的只有message。时间戳拦截器的配置：

参数

默认值

描述

type

timestamp

类型名称timestamp，也可以使用类名的全路径org.apache.flume.interceptor.TimestampInterceptor$Builder

preserveExisting

false

如果设置为true，若事件中报头已经存在，不会替换时间戳报头的值

参数 默认值 描述type timestamp 类型名称timestamp，也可以使用类名的全路径org.apache.flume.interceptor.TimestampInterceptor$BuilderpreserveExisting false 如果设置为true，若事件中报头已经存在，不会替换时间戳报头的值

source连接到时间戳拦截器的配置：

a1.sources.r1.interceptors=i1 a1.sources.r1.interceptors.i1.type=timestamp a1.sources.r1.interceptors.i1.preserveExisting=false

2.2 主机拦截器主机拦截器插入服务器的ip地址或者主机名，agent将这些内容插入到事件的报头中。事件报头中的key使用hostHeader配置，默认是host。主机拦截器的配置：

参数

默认值

描述

type

host

类型名称host，也可以使用类名的全路径org.apache.flume.interceptor.HostInterceptor$Builder

hostHeader

host

事件头的key

useIP

true

如果设置为false，host键插入主机名

preserveExisting

false

如果设置为true，若事件中报头已经存在，不会替换时间戳报头的值

参数 默认值 描述type host 类型名称host，也可以使用类名的全路径org.apache.flume.interceptor.HostInterceptor$BuilderhostHeader host 事件头的keyuseIP true 如果设置为false，host键插入主机名preserveExisting false 如果设置为true，若事件中报头已经存在，不会替换时间戳报头的值

source连接到主机拦截器的配置：

a1.sources.r1.interceptors=i2a1.sources.r1.interceptors.i2.type=hosta1.sources.r1.interceptors.i2.useIP=falsea1.sources.r1.interceptors.i2.preserveExisting=false

2.3 静态拦截器静态拦截器的作用是将k/v插入到事件的报头中。配置如下

参数

默认值

描述

type

static

类型名称static，也可以使用类全路径名称org.apache.flume.interceptor.StaticInterceptor$Builder

key

key

事件头的key

value

value

key对应的value值

preserveExisting

true

如果设置为true，若事件中报头已经存在该key，不会替换value的值

参数 默认值 描述type static 类型名称static，也可以使用类全路径名称org.apache.flume.interceptor.StaticInterceptor$Builderkey key 事件头的keyvalue value key对应的value值preserveExisting true 如果设置为true，若事件中报头已经存在该key，不会替换value的值

source连接到静态拦截器的配置：

a1.sources.r1.interceptors = statica1.sources.r1.interceptors.static.type=statica1.sources.r1.interceptors.static.key=logsa1.sources.r1.interceptors.static.value=logFlumea1.sources.r1.interceptors.static.preserveExisting=false

2.4 正则过滤拦截器在日志采集的时候，可能有一些数据是我们不需要的，这样添加过滤拦截器，可以过滤掉不需要的日志，也可以根据需要收集满足正则条件的日志。配置如下

参数

默认值

描述

type

REGEX_FILTER

类型名称REGEX_FILTER，也可以使用类全路径名称org.apache.flume.interceptor.RegexFilteringInterceptor$Builder

regex

.*

匹配除“\n”之外的任何个字符

excludeEvents

false

默认收集匹配到的事件。如果为true，则会删除匹配到的event，收集未匹配到的

参数 默认值 描述type REGEX_FILTER 类型名称REGEX_FILTER，也可以使用类全路径名称org.apache.flume.interceptor.RegexFilteringInterceptor$Builderregex .* 匹配除“\n”之外的任何个字符excludeEvents false 默认收集匹配到的事件。如果为true，则会删除匹配到的event，收集未匹配到的

source连接到正则过滤拦截器的配置：

a1.sources.r1.interceptors=i4a1.sources.r1.interceptors.i4.type=REGEX_FILTER a1.sources.r1.interceptors.i4.regex=(rm)|(kill) a1.sources.r1.interceptors.i4.excludeEvents=false

这样配置的拦截器就只会接收日志消息中带有rm 或者kill的日志。

测试案例：test_regex.conf# 定义这个agent中各组件的名字

a1.sources = r1a1.sinks = k1a1.channels = c1

# 描述和配置source组件：r1

a1.sources.r1.type = netcata1.sources.r1.bind = hadoop-001a1.sources.r1.port = 44444a1.sources.r1.interceptors=i4a1.sources.r1.interceptors.i4.type=REGEX_FILTER

#保留内容中出现hadoop或者是spark的字符串的记录

a1.sources.r1.interceptors.i4.regex=(hadoop)|(spark)a1.sources.r1.interceptors.i4.excludeEvents=false

# 描述和配置sink组件：k1

a1.sinks.k1.type = logger

# 描述和配置channel组件，此处使用是内存缓存的方式

a1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100

# 描述和配置source channel sink之间的连接关系

a1.sources.r1.channels = c1a1.sinks.k1.channel = c1

输入以下指令：

bin/flume-ng agent --conf conf --conf-file conf/test_regex.conf --name a1 -Dflume.root.logger=INFO,console

发送数据测试：

打印到控制台信息：

 

只接受到存在hadoop或者spark的记录，验证成功！

Transkai47
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flume配置及拦截器
weixin_43994052的博客
09-26 350
flume从kafka采集数据到hdfs，flume拦截器解析数据时间到指定的分区
Flume拦截器(interceptor)详解和静态拦截器综合案例
LO_Bear的博客
06-28 1435
目录 一、Flume拦截器(interceptor)介绍 二、Flume内置的拦截器 1、时间戳拦截器 2、主机拦截器 3、静态拦截器 4、正则过滤拦截器 三、静态拦截器综合案例实现 1. 案例场景 2. 场景分析 3. 数据流程处理分析 4. 实现 一、Flume拦截器(interceptor)介绍         拦截器是简单的插件式组件，设置...
Flume中的拦截器（Interceptor）介绍与使用（一）
java的平凡之路
03-24 1万+
Flume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有用，Flume-ng 1.6中目前提供了以下拦截器： Timestamp Interceptor； Host Interceptor； Static Interce
【Flume】Interceptor拦截器 (三)
最新发布
大数据爱好者的博客
05-07 1099
实际过程中，可以使用Ganglia监控Flume的数据流。Ganglia是Berkeley发起的一个开源的集群监控项目，可以检测数以千计的节点的性能Ganglia包含三个模块gmond(Ganglia Monitoring Daemon)：轻量级的监控服务，需要监控哪一个节点的性能，就在这个节点上安装gmond服务，可以监控当前节点(系统)的各种指标数据：CPU、内存、磁盘、网络等信息。
flume拦截器(过滤)配置
互联网知识分享
07-29 395
拦截器可以根据预先设定的规则来过滤掉不需要的事件，或者对事件进行转换和增强。通过使用拦截器，可以实现数据流的精细控制，提高数据传输的效率和准确性。拦截器可以根据事件的内容和属性来决定是否将该事件传递给下一个组件，或者对事件进行转换和增强。任意自定义参数：根据需要可以添加其他自定义参数，在拦截器的configure方法中进行读取和处理。配置文件中，对于拦截器的配置需要指定拦截器的类型和相关的参数。接口，可以自定义拦截器进行业务逻辑的编写。拦截器的使用，可以对数据流进行精细的控制，提高数据传输的效率和准确性。
自定义flume拦截器-实现了多种功能
热门推荐
第一片心意的博客
06-21 1万+
1. 自定义拦截器实现说明 1. 实现interceptor接口，并实现其方法，接口完全限定名为：org.apache.flume.interceptor.Interceptor; 2. 自定义拦截器内部添加静态内部类，实现Builder接口，并实现其方法，接口完全限定名为：Interceptor.Builder 以下是最简单的代码示例（每个方法的作用都有注释说明）：......
flume-interceptor.zip
04-07
"flume-interceptor.zip" 文件很可能是包含了自定义 Flume 拦截器的相关代码和配置，用于对数据进行特定的预处理。 拦截器（Interceptor）是 Flume 中的一个关键组件，它允许用户在数据流进入 Flume Agent 之前对其...
flume-interceptor-1.0.0-jar-with-dependencies.jar
01-03
flume拦截器 保留binlog es、data、database、table、type字段 分区字段名称: eventDate 放入 /opt/cloudera/parcels/CDH/lib/flume-ng/lib目录重启flume即可
flume-demo_大数据_flume_DEMO_自定义拦截器_
10-04
- 在 Java 中实现自定义拦截器，需要继承 Flume 的 `Interceptor` 接口，并实现其中的 `initialize()`、`intercept(List)` 和 `close()` 方法。 - `initialize()` 方法用于初始化拦截器，可以加载配置信息等。 - ...
flume自定义拦截器学习
08-07
flume自定义拦截器学习
flume-cacheable-interceptor-skeleton:可缓存 Flume 拦截器的骨架
06-19
该项目为可缓存的 Flume 拦截器提供了一个框架。 它是使用提供缓存服务的 Spring Framework 4.1.5 版实现的。 要实现自己的拦截器，请克隆此项目并实现 CacheableInterceptor 和 FlumeCacheService 的缺失部分。 ...
Flume-NG源码阅读之Interceptor(原创)
weixin_30307267的博客
04-14 103
　　有的时候希望通过Flume将读取的文件再细分存储，比如讲source的数据按照业务类型分开存储，具体一点比如类似：将source中web、wap、media等的内容分开存储；比如丢弃或修改一些数据。这时可以考虑使用拦截器Interceptor。 　　flume通过拦截器实现修改和丢弃事件的功能。拦截器通过定义类继承org.apache.flume.interceptor.Intercepto...
Flume之实现和使用自定义Interceptor
TomAndersen的博客
03-05 463
前言 在Flume中自定义Interceptor时，需要实现org.apache.flume.interceptor.Interceptor接口，以及创建静态内部类去实现org.apache.flume.interceptor.Interceptor.Builder接口 更多详细内容可以参考《Flume构建高可用、可扩展的海量日志采集系统》 实现自定义Interceptor拦截器 1）根据使...
flume拦截器
jinYwuM的博客
09-11 1万+
摘要: 拦截器是简单的插件式组件，设置在source和channel之间。source接收到的时间，在写入channel之前，拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。 flume内置了很多拦截器，并且会定期的添加一些拦截器，在这里列出一些flume内置的，经常使用的拦截器。 一、拦截器的种类介绍 1、Timestamp Int...
Flume拦截器(interceptor)详解和静态拦截器综合案例实现
weixin_43230682的博客
08-27 4698
目录 一、Flume拦截器(interceptor)介绍 二、Flume内置的拦截器 1、时间戳拦截器 2、主机拦截器 3、静态拦截器 4、正则过滤拦截器 三、静态拦截器综合案例实现 1. 案例场景 2. 场景分析 3. 数据流程处理分析 4. 实现 一、Flume拦截器(interceptor)介绍 拦截器是简单的插件式组件，设置在source和channel之间。source接收到的事件event，在写入channel之前，拦截器都可以进行转换或者删除这些事件。...
10_Flume之拦截器
weixin_40727028的博客
04-15 289
Inteceptor主要用来对event进行过滤和修改，Interceptor可以将处理结果传递给下一个Interceptor从而形成InterceptorChain。多个Interceptor在配置文件中以空格分隔，拦截器的顺序就是event处理的顺序，只有一个拦截器通过之后才会进行到下一个拦截器。Inteceptor相关源码在flume-ng-core的org.apache.flume.interceptor下。环境：Java - Maven pom.xml--此工具会将全部依赖打包--> <!
Flume自定义拦截器（Interceptors）或自带拦截器时的一些经验技巧总结（图文详解）...
weixin_34293246的博客
07-27 755
       　　不多说，直接上干货！   一、自定义拦截器类型必须是：类全名$内部类名，其实就是内部类名称 　　如：zhouls.bigdata.MySearchAndReplaceInterceptor$Builder 二、为什么这样写 　　至于为什么这样写：是因为Interceptor接口还有一个 公共的内部接口（Builder） ，所以自定义拦截器 要是实现 Build...
Flume---interceptor拦截器
shall潇の菜园
05-25 236
文章目录编写拦截器程序编写conf 文件测试 打开idea，创建工程 导入依赖 <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.6.0</version> </dependency> 编写拦截器程序 package flumes
Flume Interceptors
01-15 119
Flume Interceptors Flume has the capability to modify/drop events in-flight. This is done with the help of interceptors. Interceptors are classes that implementorg.apache.flume.interceptor.In...
帮我编写编写Flume拦截器
04-05
下面是一个简单的Flume拦截器示例，它将日志记录在文件中并添加一个时间戳： ``` package com.example.flume.interceptor; import org.apache.flume.Context; import org.apache.flume.Event; import org.apache.flume.interceptor.Interceptor; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import java.io.File; import java.io.FileWriter; import java.io.IOException; import java.text.SimpleDateFormat; import java.util.Date; import java.util.List; public class TimestampInterceptor implements Interceptor { private static final Logger logger = LoggerFactory.getLogger(TimestampInterceptor.class); private FileWriter fileWriter; private TimestampInterceptor(FileWriter fileWriter) { this.fileWriter = fileWriter; } @Override public void initialize() { // 初始化方法，可以用于读取配置文件等 } @Override public Event intercept(Event event) { // 对每个事件进行拦截处理 String body = new String(event.getBody()); String timestamp = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date()); String log = String.format("[%s] %s", timestamp, body); try { fileWriter.write(log); fileWriter.flush(); } catch (IOException e) { logger.error("Failed to write log to file", e); } return event; } @Override public List<Event> intercept(List<Event> events) { // 对事件列表进行批量处理 for (Event event : events) { intercept(event); } return events; } @Override public void close() { // 关闭方法，可以用于释放资源等 try { fileWriter.close(); } catch (IOException e) { logger.error("Failed to close file writer", e); } } public static class Builder implements Interceptor.Builder { private FileWriter fileWriter; @Override public void configure(Context context) { // 配置方法，可以用于读取参数等 String fileName = context.getString("fileName", "flume.log"); try { File file = new File(fileName); if (!file.exists()) { file.createNewFile(); } fileWriter = new FileWriter(file, true); } catch (IOException e) { logger.error("Failed to create file writer", e); } } @Override public Interceptor build() { // 构建方法，返回一个Interceptor实例 return new TimestampInterceptor(fileWriter); } } } ``` 这个拦截器会在Flume接收到事件后将日志写入文件中，并在每行日志前添加一个时间戳。在Flume配置文件中使用这个拦截器的方法如下： ``` agent.sources = source1 agent.channels = channel1 agent.sinks = sink1 agent.sources.source1.type = ... agent.sources.source1.interceptors = interceptor1 agent.sources.source1.interceptors.interceptor1.type = com.example.flume.interceptor.TimestampInterceptor$Builder agent.sources.source1.interceptors.interceptor1.fileName = /path/to/log/file agent.channels.channel1.type = ... agent.channels.channel1.capacity = ... agent.channels.channel1.transactionCapacity = ... agent.sinks.sink1.type = ... agent.sinks.sink1.channel = channel1 ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值