Flume学习笔记：Flume Interceptor的使用

最新推荐文章于 2024-05-19 19:42:25 发布
最新推荐文章于 2024-05-19 19:42:25 发布
阅读量616 收藏
点赞数
分类专栏： Flume 文章标签： Flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lrxcmwy2/article/details/82048273
版权
本文详细介绍了Flume Interceptor的概念，包括TimeStamp Interceptor、Host Interceptor和Regex Filtering的使用。TimeStamp Interceptor用于在Event Header中插入时间戳，Host Interceptor则插入服务器的IP或hostname。此外，还讲解了Regex Filtering如何通过正则表达式过滤日志信息。通过实例展示了拦截器的工作效果。
摘要由CSDN通过智能技术生成

目录

Flume Interceptor概念

TimeStamp Interceptor

测试

Host Interceptor

测试

Regex Filtering

测试 

Flume Interceptor概念

拦截器设置在Source和Channel之间，专门处理Event
每个拦截器只处理同一个Source接收到的事件
拦截器类型
    Timestamp Interceptor
    Host Interceptor
    Static Interceptor
    UUID Interceptor
    Morphline Interceptor
    Search and Replace Interceptor
    Regex Filtering Interceptor
    Regex Extrator Interceptor

 

TimeStamp Interceptor

将时间戳插入到Flume的Event Header中

在source部分指定拦截器为Timestamp，类型必须为timestamp或FQCN（暂时不知道这是什么= =）
PreserveExisting默认值为False，当值为True时，若Event中Header已经存在，将不会替换TimeStamp Header的值
还有一个参数是h

最低0.47元/天 解锁文章
SetsunaMeow
关注
专栏目录
Flume>flume过滤器
qq_44509920的博客
12-06 1133
1. 案例场景 A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log 现在要求： 把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。 但是在hdfs中要求的目录为： /source/logs/access/20180101/** /source/logs/nginx/2018010...
flume过滤器
07-18
flume过滤器，用于解析source，然后根据规则sink到不同的路径
flume过滤器（regex_正则过滤器）
hua_ge_zui_liang的博客
05-21 702
1、新建需要进行regex过滤的文件 在flume安装目录下的conf下面新建job 然后在job下面新建文件 [root@cjh1 job]# touch users-flume-rmhdhdfs.conf 进入编辑创建的文件 [root@cjh1 job]# vi ./users-flume-rmhdhdfs.conf users.sources=usersSource users.channels=usersChannel users.sinks=usersSink users.sources
Idea中flume的Interceptor的编写教程
最新发布
v15220的博客
05-19 1339
/键入implements Interceptor{} 光标定位到Interceptor alt + enter键选择导入类导入flume的Interceptor即可 import org.apache.flume.interceptor.Interceptor;打开四个窗口，前三个分别运行flume1.conf、flume2.conf、flume3.conf 配置的进程。注意位置是将来打包文件存放的位置，即我们打包好的文件在这/export/data个目录下寻找。# 接收c1中的数据。
Flume学习笔记：Flume自定义Agent
lrxcmwy2的博客
08-26 2134
Flume自定义Source、Sink、Interceptor，以及美团技术团队的DualChannel实现
Flume学习笔记：Flume的安装与基础应用
lrxcmwy2的博客
08-24 538
Flume基础概念与应用
Hadoop学习笔记：分布式数据收集系统Flume和Sqoop
BigPig的博客
01-05 853
背景 Hadoop提供了一个中央化的存储系统，有利于进行集中式的数据分析与数据共享。Hadoop对存储格式没有要求，包括用户访问日志、产品信息和网页数据等。但是，数据分散在各个离散的设备上或保存在传统的存储设备和系统中，我们需要将数据存入Hadoop。常见数据来源包括网页信息、用户操作日志等非结构化数据和传统关系型数据库（像MySQL、Oracled等）中的结构化数据，例如商品信息、用户信息等。如...
Flume 学习笔记（三）source多路复用选择器 | 简单的拦截器实现 | 不同集群节点的数据分流
希望每天都能进步一点点
03-20 621
Flume 学习笔记（三）source多路复用选择器 | 简单的拦截器实现 | 不同集群节点的数据分流
flume的Interceptor和Selector
xianrenqiu1234的博客
05-16 371
Apache Flume之正则过滤器
weixin_34112181的博客
08-02 255
在当今的大数据世界中，应用程序产生大量的电子数据 – 这些巨大的电子数据存储库包含了有价值的、宝贵的信息。 对于人类分析师或领域专家，很难做出有趣的发现或寻找可以帮助决策过程的模式。 我们需要自动化的流程来有效地利用庞大的，信息丰富的数据进行规划和投资决策。 在处理数据之前，收集数据，聚合和转换数据是绝对必要的，并最终将数据移动到那些使用不同分析和...
Flume自定义拦截器(过滤)配置
互联网知识分享
05-11 480
一个典型的例子就是利用flume从一组web服务器中收集日志文件，然后把这些文件中的日志事件转移到一个新的HDFS汇总文件中以做进一步的处理，所以flume的终点sink一般是HDFS,当然因为flume本生的灵活性，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。）自定义类，目标：字母小写变大写，然后打成jarb包，上传到linux的flume或flume/lib文件夹下。该类是没main方法的，直接打包放在集群，底层代码会自动调用。获取事件对象中的字节数据。
flume自定义拦截器(过滤)配置
互联网知识分享
07-30 374
拦截器按照它们在配置文件中的顺序进行处理，可以有多个拦截器作为一个拦截器链来使用。拦截器处理的顺序可以通过在配置文件中的位置来控制，第一个拦截器首先处理事件，然后依次向下传递。我们可以根据具体的需求添加更多的拦截器，并在每个拦截器中指定相关的参数。拦截器是一个用于数据转移的组件，可以在事件流通过通道时对事件进行检查、修改或拦截。自定义拦截器的配置和实现的理论原理解说、完整代码注释案例以及参数介绍。提供了许多内置的拦截器，但我们也可以通过自定义拦截器来实现自定义的数据过滤和处理。，指定自定义拦截器链的名称。
flume拦截器(过滤)配置
互联网知识分享
07-29 427
拦截器可以根据预先设定的规则来过滤掉不需要的事件，或者对事件进行转换和增强。通过使用拦截器，可以实现数据流的精细控制，提高数据传输的效率和准确性。拦截器可以根据事件的内容和属性来决定是否将该事件传递给下一个组件，或者对事件进行转换和增强。任意自定义参数：根据需要可以添加其他自定义参数，在拦截器的configure方法中进行读取和处理。配置文件中，对于拦截器的配置需要指定拦截器的类型和相关的参数。接口，可以自定义拦截器进行业务逻辑的编写。拦截器的使用，可以对数据流进行精细的控制，提高数据传输的效率和准确性。
Flume拦截器过滤配置(全网最详细)
互联网知识分享
05-10 844
监控目录面的不要修改内容 , 一旦监控过后就不会在监控了，所以最好使用在新创建一个文件里面创建新内容,而监控文件可以使用追加内容，而监控目录不支持追加内容。*表示匹配前面的字符多次。命令 mv flume-env.sh.template flume-env.sh。命令 mv flume-env.sh.template flume-env.sh。命令 mv flume-env.sh.template flume-env.sh。命令 mv flume-env.sh.template flume-env.sh。
Flume配置2——拦截器过滤
weixin_51699336的博客
06-28 1029
Flume配置2——拦截器过滤
Flume自定义拦截器对数据进行脱敏处理
Widsom的博客
04-23 6012
Flume自定义拦截器对数据进行脱敏处理 前言 使用Flume自定义拦截器，对较为敏感的数据进行MD5加密处理，本示例需要对以下数据中的用户密码，进行脱敏处理，并过滤性别字段数据。 # 数据样例 # 用户名 密码 年龄 性别 身高 体重 admin 123456 26 男 170 70 一、编写java程序 maven依赖 <dependencies&g...
flume Interceptor和selector
weixin_34015860的博客
01-18 154
2019独角兽企业重金招聘Python工程师标准>>> ...
Flume学习笔记：从源到sink的高可用日志采集系统详解
Flume学习笔记深入解析 Flume是一个由Cloudera开发并后来归属Apache的分布式、高可靠的大数据日志采集、聚合和传输系统。它最初在2010年开源，经历了从Flume-OG（0.9.2及后续版本）到Flume-NG的重大重构，以解决...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值