Flume（二） flume interceptor 拦截器

最新推荐文章于 2023-07-29 08:06:25 发布
最新推荐文章于 2023-07-29 08:06:25 发布
阅读量414 收藏
点赞数
分类专栏： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/finghting2016/article/details/79029167
版权
一、拦截器简介拦截器是简单插件式组件，设置在Source和Source写入数据的Channel之间。每个拦截器实例只处理同一个Source接收到的事件。因为拦截器必须在事件写入channel之前完成转换操作，只有当拦截器已成功转换事件后，channel（和任何其他可能产生超时的source）才会响应发送事件的客户端或sink，因此在拦截器中进行大量重量级的处理并不是一个好主
摘要由CSDN通过智能技术生成

一、拦截器简介


拦截器是简单插件式组件，设置在Source和Source写入数据的Channel之间。每个拦截器实例只处理同一个Source接收到的事件。


因为拦截器必须在事件写入channel之前完成转换操作，只有当拦截器已成功转换事件后，channel（和任何其他可能产生超时的source）才会响应发送事件的客户端或sink，因此在拦截器中进行大量重量级的处理并不是一个好主意。如果拦截器中的处理是重量级的、耗时的，那么需要相应的调整超时时间属性。


拦截器一般用于分析事件以及在需要的时候丢弃事件，通常情况是，拦截器给事件插入报头，这些事件后续用于HDFS Sink（用于时间戳或者用于基于报头的分桶）、HBase Sink（用于行键）等。这些事件报头也经常在复杂Channel处理器中用于将流分为多个流的分支，或者基于优先级将事件发送到不同的Sink中，这些事件报头是拦截器分析的内容。


二、拦截器类型


最低0.47元/天 解锁文章
「已注销」
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flume-demo_大数据_flume_DEMO_自定义拦截器_
10-04
- 在 Java 中实现自定义拦截器，需要继承 Flume 的 `Interceptor` 接口，并实现其中的 `initialize()`、`intercept(List)` 和 `close()` 方法。 - `initialize()` 方法用于初始化拦截器，可以加载配置信息等。 - ...
flume拦截器及自定义拦截器
鸭梨的博客
10-27 770
拦截器做什么呢? 时间拦截器 以时间拦截器为例.会在Event的header中添加一个属性进去,属性的key叫做timestamp, value是当前的毫秒值. 问题是写到header然后呢?有啥用呢? 就是在比如说保存到hdfs上时,这个header中的时间戳的value可以作为文件夹的目录,这样就比较方便. 也可以比如说加到文件名上面. a1.sources.r1.interceptors = i1 i2 i3 a1.sources.r1.interceptors.i1.type = timestam
04-系统内置拦截器使用&自定义拦截器
xixihaha_coder的博客
11-13 567
系统内置拦截器使用 在Flume运行过程中,Flume有能力在运行阶段修改/删除Event，这是通过拦截器（(Interceptors)来实现的。拦截器有下面几个特点: 拦截器需要实现org.apache.flume.interceptor.Interceptor接口。 拦截器可以修改或删除事件基于开发者在选择器中选择的任何条件。 拦截器采用了责任链模式，多个拦截器可以按指定顺序拦截。 一个拦截器返回的事件列表被传递给链中的下一个拦截器。 如果一个拦截器需要删除事件，它只需要在返回的事件集中不包含要删除的
【Flume-03】中的拦截器
山西没老板
09-27 1357
拦截器为正则表达式拦截器, 数据源为Syslogtcp格式,传送通道为MemChannel,最后传送的目的地是HDFS。通过时间拦截器,数据源为SyslogTcp,传送的通道模式是FileChannel,最后输出的目的地为HDFS。回到第一个窗口发现，并没有采集到，那是因为我流入的数据并不符合我配置方案中的正则表达式。如果一个拦截器需要删除事件，它只需要在返回的事件集中不包含要删除的事件即可。拦截器采用了责任链模式，多个拦截器可以按指定顺序拦截。一个拦截器返回的事件列表被传递给链中的下一个拦截器。
Flume拦截器过滤配置(全网最详细)
互联网知识分享
05-10 777
监控目录面的不要修改内容 , 一旦监控过后就不会在监控了，所以最好使用在新创建一个文件里面创建新内容,而监控文件可以使用追加内容，而监控目录不支持追加内容。*表示匹配前面的字符多次。命令 mv flume-env.sh.template flume-env.sh。命令 mv flume-env.sh.template flume-env.sh。命令 mv flume-env.sh.template flume-env.sh。命令 mv flume-env.sh.template flume-env.sh。
flume拦截器(过滤)配置
最新发布
互联网知识分享
07-29 395
拦截器可以根据预先设定的规则来过滤掉不需要的事件，或者对事件进行转换和增强。通过使用拦截器，可以实现数据流的精细控制，提高数据传输的效率和准确性。拦截器可以根据事件的内容和属性来决定是否将该事件传递给下一个组件，或者对事件进行转换和增强。任意自定义参数：根据需要可以添加其他自定义参数，在拦截器的configure方法中进行读取和处理。配置文件中，对于拦截器的配置需要指定拦截器的类型和相关的参数。接口，可以自定义拦截器进行业务逻辑的编写。拦截器的使用，可以对数据流进行精细的控制，提高数据传输的效率和准确性。
flume-interceptor.zip
04-07
"flume-interceptor.zip" 文件很可能是包含了自定义 Flume 拦截器的相关代码和配置，用于对数据进行特定的预处理。 拦截器（Interceptor）是 Flume 中的一个关键组件，它允许用户在数据流进入 Flume Agent 之前对其...
flume-interceptor-1.0.0-jar-with-dependencies.jar
01-03
flume拦截器 保留binlog es、data、database、table、type字段 分区字段名称: eventDate 放入 /opt/cloudera/parcels/CDH/lib/flume-ng/lib目录重启flume即可
flume_interceptor-1.0-SNAPSHOT.jar
05-31
文章Hadoop_16_flume中自定义拦截器的jar包，可以用来测试使用。 在数据采集之后，通过flume的拦截器，实现不需要的数据过滤掉，并将指定的第一个字段进行加密，加密之后再往hdfs上面保存。
flume-cacheable-interceptor-skeleton:可缓存 Flume 拦截器的骨架
06-19
该项目为可缓存的 Flume 拦截器提供了一个框架。 它是使用提供缓存服务的 Spring Framework 4.1.5 版实现的。 要实现自己的拦截器，请克隆此项目并实现 CacheableInterceptor 和 FlumeCacheService 的缺失部分。 ...
flume过滤器
07-18
flume过滤器，用于解析source，然后根据规则sink到不同的路径
flume-timestamp-filter:水槽时间戳过滤器
06-03
水槽时间戳过滤器 Flume拦截器根据事件标头中配置的passedTime检查时间戳字段有选择地过滤事件。 这支持基于包含或排除的过滤。 入门 克隆存储库 构建源 $ mvn clean package 创建拦截器目录并部署 $ mkdir -p /usr/lib/flume-ng/plugins.d/flume-timestamp-filter/lib $ chown -R flume:flume /usr/lib/flume-ng/plugins.d/ $ cp /path/to/flume-timestamp-filter/target/flume-timestamp-filtering-interceptor-0.0.jar /usr/lib/flume-ng/plugins.d/flume-timestamp-filter/lib/ 根据Configuration配置flum
Flume自定义拦截器(过滤)配置
互联网知识分享
05-11 455
一个典型的例子就是利用flume从一组web服务器中收集日志文件，然后把这些文件中的日志事件转移到一个新的HDFS汇总文件中以做进一步的处理，所以flume的终点sink一般是HDFS,当然因为flume本生的灵活性，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。）自定义类，目标：字母小写变大写，然后打成jarb包，上传到linux的flume或flume/lib文件夹下。该类是没main方法的，直接打包放在集群，底层代码会自动调用。获取事件对象中的字节数据。
Flume配置2——拦截器过滤
weixin_51699336的博客
06-28 993
Flume配置2——拦截器过滤
flume 自定义拦截器过滤日志文件
dong7236983723698的专栏
06-04 770
flume 收集日志文件
Flume>flume过滤器
qq_44509920的博客
12-06 1098
1. 案例场景 A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log 现在要求： 把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。 但是在hdfs中要求的目录为： /source/logs/access/20180101/** /source/logs/nginx/2018010...
Flume拦截器（Interceptor）
小强签名设计 的博客
08-25 4712
Flume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有用，Flume-ng 1.7中目前提供了以下拦截器： Timestamp Interceptor； Host Interceptor； Static Interce
flume原理、flume的 source、channel  sink  配置详解
.
02-28 742
flume的配置详解https://www.cnblogs.com/zyde/p/8946069.html https://blog.csdn.net/qq_43371556/article/details/103100193#_netcat_284 一、source ============================================ 1、avro avro可以...
Flume之常用拦截器
QYHuiiQ
05-08 3343
在Flume中会使用一些拦截器对source中的数据在进入channel之前进行拦截做一些处理，比如过滤掉一些数据，或者加上一些key/value等。可以同时使用多个拦截器，实现不同的功能。 常用的拦截器有时间戳拦截器、主机名拦截器、静态拦截器等。 时间戳拦截器：会在event的Header中添加一个key为timestamp，value为当前时间戳的值。 主机名拦截器：会在event的Header中添加一个key（默认是host，也可通过hostHeader这个属性来自定义key），value是fl
flume JSON格式拦截器
03-31
Flume的JSON格式拦截器可以用来解析JSON格式的数据，并将其转换为Flume事件。以下是一个简单的JSON格式拦截器示例： ``` #定义拦截器 agent.sources.kafka-source.interceptors = json-interceptor #设置拦截器属性 agent.sources.kafka-source.interceptors.json-interceptor.type = org.apache.flume.interceptor.JsonInterceptor$Builder agent.sources.kafka-source.interceptors.json-interceptor.preserveExisting = false agent.sources.kafka-source.interceptors.json-interceptor.flattenMap = true agent.sources.kafka-source.interceptors.json-interceptor.preserveHierarchy = false agent.sources.kafka-source.interceptors.json-interceptor.flatten = true ``` 在上面的示例中，我们定义了一个名为“json-interceptor”的拦截器，并将其应用于名为“kafka-source”的Flume源。拦截器类型为“org.apache.flume.interceptor.JsonInterceptor$Builder”，该拦截器将JSON格式的数据转换为Flume事件。我们可以设置拦截器的各种属性，例如保留现有事件、将嵌套的JSON对象解析为扁平的键值对等。 使用Flume的JSON格式拦截器可以轻松地将JSON数据导入到Flume中，并将其传输到其他系统或存储库中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值