Flume拦截器（Interceptor）

最新推荐文章于 2024-09-29 07:00:00 发布
最新推荐文章于 2024-09-29 07:00:00 发布
阅读量4.7k 收藏 10
点赞数 2
分类专栏： flume 文章标签： flume1.7 interceptor
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37739193/article/details/77584909
版权

Flume中的拦截器（interceptor），当Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有用，Flume-ng 1.7中目前提供了以下拦截器：

Timestamp Interceptor；
Host Interceptor；
Static Interceptor；
UUID Interceptor；
Morphline Interceptor；
Search and Replace Interceptor；
Regex Filtering Interceptor；
Regex Extractor Interceptor；


可以对一个source指定多个拦截器，按先后顺序依次处理。如：

a1.sources.r1.interceptors=i1 i2  
a1.sources.r1.interceptors.i1.type=regex_filter  
a1.sources.r1.interceptors.i1.regex=\\{.*\\}  
a1.sources.r1.interceptors.i2.type=timestamp

Timestamp Interceptor

时间戳拦截器，将当前时间戳（毫秒）加入到events header中，key名字为：timestamp，值为当前时间戳。用的不是很多。比如在使用HDFS Sink时候，根据events的时间戳生成结果文件，
hdfs.path = hdfs://cdh5/tmp/dap/%Y%m%d
hdfs.filePrefix = log_%Y%m%d_%H
会根据时间戳将数据写入相应的文件中。
但可以用其他方式代替（设置useLocalTimeStamp = true）。

[hadoop@h71 conf]$ vi timestamp.conf
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = exec
a1.sources.r1.channels = c1
a1.sources.r1.command = tail -F /home/hadoop/hui/hehe.txt
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = timestamp

a1.sinks.k1.type=hdfs
a1.sinks.k1.channel=c1
a1.sinks.k1.hdfs.path=hdfs://h71:9000/hui/%y-%m-%d/%H
a1.sinks.k1.hdfs.filePrefix = log_%Y%m%d_%H
#配置fileType和writeFormat为下面的参数才能保证导入hdfs中的数据为文本格式
a1.sinks.k1.hdfs.fileType=DataStream
a1.sinks.k1.hdfs.writeFormat=Text
#当有数据存储时会每10秒滚动将文件名的后缀.tmp去掉，默认值为30秒
a1.sinks.k1.hdfs.rollInterval=10
#上面是按时间滚动，下面这个是按文件大小进行滚动
#a1.sinks.k1.hdfs.rollSize=1024

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动flume进程：
[hadoop@h71 apache-flume-1.6.0-cdh5.5.2-bin]$ bin/flume-ng agent -c conf/ -f conf/timestamp.conf -n a1 -Dflume.root.logger=INFO,console


产生数据：
[hadoop@h71 hui]$ echo "hello world" >> hehe.txt


查看结果：
[hadoop@h71 hui]$ hadoop fs -lsr /hui
drwxr-xr-x   - hadoop supergroup          0 2017-03-18 02:41 /hui/17-03-18
drwxr-xr-x   - hadoop supergroup          0 2017-03-18 02:41 /hui/17-03-18/02
-rw-r--r--   2 hadoop supergroup         12 2017-03-18 02:41 /hui/17-03-18/02/log_20170318_02.1489776083025.tmp
10秒中之后：（文件中的后缀1489776083025为时间戳）
[hadoop@h71 hui]$ hadoop fs -lsr /hui
drwxr-xr-x   - hadoop supergroup          0 2017-03-18 02:41 /hui/17-03-18
drwxr-xr-x   - hadoop supergroup          0 2017-03-18 02:41 /hui/17-03-18/02
-rw-r--r--   2 hadoop supergroup         12 2017-03-18 02:41 /hui/17-03-18/02/log_20170318_02.1489776083025


Host Interceptor
主机名拦截器。将运行Flume agent的主机名或者IP地址加入到events header中，key名字为：host（也可自定义）。

[hadoop@h71 conf]$ vi host.conf
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = exec
a1.sources.r1.channels = c1
a1.sources.r1.command = tail -F /home/hadoop/hui/hehe.txt
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = host
#参数为true时用IP192.168.8.71，参数为false时用主机名h71，默认为true
a1.sources.r1.interceptors.i1.useIP = false
a1.sources.r1.interceptors.i1.hostHeader = agentHost

a1.sinks.k1.type=hdfs
a1.sinks.k1.channel = c1
a1.sinks.k1.hdfs.path = hdfs://h71:9000/hui/%y%m%d
a1.sinks.k1.hdfs.filePrefix = qiang_%{agentHost}
#往生成的文件加后缀名.log
a1.sinks.k1.hdfs.fileSuffix = .log
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.rollInterval = 10

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动flume进程：
[hadoop@h71 apache-flume-1.6.0-cdh5.5.2-bin]$ bin/flume-ng agent -c conf/ -f conf/host.conf -n a1 -Dflume.root.logger=INFO,console
报错：Caused by: java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null
解决：在host.conf文件中加这么一行a1.sinks.k1.hdfs.useLocalTimeStamp = true


产生数据：
[hadoop@h71 hui]$ echo "hello world" >> hehe.txt


查看结果：
[hadoop@h71 apache-flume-1.6.0-cdh5.5.2-bin]$ hadoop fs -lsr /hui
drwxr-xr-x   - hadoop supergroup          0 2017-03-18 03:36 /hui/170318
-rw-r--r--   2 hadoop supergroup          2 2017-03-18 03:36 /hui/170318/qiang_h71.1489779401946.log


说明：Timestamp Interceptor和Host Interceptor这两个实验有毒啊。。。我一开始做的时候还正常，在重做一次的时候启动flume进程SINK, name: k1 started后就莫名其妙的卡在哪里不动了，也不报错，死活不好使，我也是醉了。。。


Static Interceptor
静态拦截器，用于在events header中加入一组静态的key和value。

[hadoop@h71 conf]$ vi static.conf
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = exec
a1.sources.r1.channels = c1
a1.sources.r1.command = tail -F /home/hadoop/hui/hehe.txt
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = static
a1.sources.r1.interceptors.i1.key = static_key
a1.sources.r1.interceptors.i1.value = static_value

a1.sinks.k1.type=hdfs
a1.sinks.k1.channel = c1
a1.sinks.k1.hdfs.path = hdfs://h71:9000/hui/
a1.sinks.k1.hdfs.filePrefix = qiang_%{static_key}
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.rollInterval = 10
a1.sinks.k1.hdfs.useLocalTimeStamp = true

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

查看结果：
[hadoop@h71 apache-flume-1.6.0-cdh5.5.2-bin]$ hadoop fs -lsr /hui
drwxr-xr-x   - hadoop supergroup          0 2017-03-18 03:36 /hui/
-rw-r--r--   2 hadoop supergroup          2 2017-03-18 03:36 /hui/qiang_static_value.1489779401946


UUID Interceptor
UUID拦截器，用于在每个events header中生成一个UUID字符串，例如：b5755073-77a9-43c1-8fad-b7a586fc1b97。生成的UUID可以在sink中读取并使用。

[hadoop@h71 conf]$ vi uuid.conf
a1.sources = r1  
a1.sinks = k1  
a1.channels = c1  

a1.sources.r1.type = exec  
a1.sources.r1.channels = c1  
a1.sources.r1.command = tail -F /home/hadoop/hui/hehe.txt
a1.sources.r1.interceptors = i1
#type的参数不能写成uuid，得写具体，否则找不到类
a1.sources.r1.interceptors.i1.type = org.apache.flume.sink.solr.morphline.UUIDInterceptor$Builder
#如果UUID头已经存在,它应该保存
a1.sources.r1.interceptors.i1.preserveExisting = true
a1.sources.r1.interceptors.i1.prefix = UUID_

a1.sinks.k1.type = logger  

a1.channels.c1.type = memory  
a1.channels.c1.capacity = 1000  
a1.channels.c1.transactionCapacity = 100  

a1.sources.r1.channels = c1  
a1.sinks.k1.channel = c1

运行flume进程后可看到：
Event: { headers:{id=UUID_1cb50ac7-fef0-4385-99da-45530cb50271} body: 68 65 6C 6C 6F 20 77 6F 72 6C 64                hello world }


Morphline Interceptor
Morphline拦截器，该拦截器使用Morphline对每个events数据做相应的转换。关于Morphline的使用，可参考
http://kitesdk.org/docs/current/morphlines/morphlines-reference-guide.html
后续再研究这块。


Search and Replace Interceptor
该拦截器用于将events中的正则匹配到的内容做相应的替换。

[hadoop@h71 conf]$ vi search.conf
a1.sources = r1  
a1.sinks = k1  
a1.channels = c1  

a1.sources.r1.type = exec  
a1.sources.r1.channels = c1  
a1.sources.r1.command = tail -F /home/hadoop/hui/hehe.txt
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = search_replace
a1.sources.r1.interceptors.i1.searchPattern = [0-9]+
a1.sources.r1.interceptors.i1.replaceString = xiaoqiang
a1.sources.r1.interceptors.i1.charset = UTF-8

a1.sinks.k1.type = logger  

a1.channels.c1.type = memory  
a1.channels.c1.capacity = 1000  
a1.channels.c1.transactionCapacity = 100  

a1.sources.r1.channels = c1  
a1.sinks.k1.channel = c1

启动flume进程：
[hadoop@h71 apache-flume-1.6.0-cdh5.5.2-bin]$ bin/flume-ng agent -c conf/ -f conf/search.conf -n a1 -Dflume.root.logger=INFO,console


产生数据：
[hadoop@h71 hui]$ echo "message 1" >> hehe.txt
[hadoop@h71 hui]$ echo "message 23" >> hehe.txt


在控制台可看到：
Event: { headers:{} body: 6D 65 73 73 61 67 65 20 78 69 61 6F 71 69 61 6E message xiaoqian }
Event: { headers:{} body: 6D 65 73 73 61 67 65 20 78 69 61 6F 71 69 61 6E message xiaoqian }


Regex Filtering Interceptor
该拦截器使用正则表达式过滤原始events中的内容。

[hadoop@h71 conf]$ vi filter.conf
a1.sources = r1  
a1.sinks = k1  
a1.channels = c1  

a1.sources.r1.type = exec  
a1.sources.r1.channels = c1  
a1.sources.r1.command = tail -F /home/hadoop/hui/hehe.txt
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = regex_filter
a1.sources.r1.interceptors.i1.regex = ^lxw1234.*
#该配置表示过滤掉不是以lxw1234开头的events。如果excludeEvents设为true，则表示过滤掉以lxw1234开头的events。
a1.sources.r1.interceptors.i1.excludeEvents = false

a1.sinks.k1.type = logger  

a1.channels.c1.type = memory  
a1.channels.c1.capacity = 1000  
a1.channels.c1.transactionCapacity = 100  

a1.sources.r1.channels = c1  
a1.sinks.k1.channel = c1

原始events内容为：
[hadoop@h71 hui]$ echo "message 1" >> hehe.txt 
[hadoop@h71 hui]$ echo "lxw1234 message 3" >> hehe.txt 
[hadoop@h71 hui]$ echo "message 2" >> hehe.txt 
[hadoop@h71 hui]$ echo "lxw1234 message 4" >> hehe.txt 


拦截后的events内容为：
Event: { headers:{} body: 6C 78 77 31 32 33 34 20 6D 65 73 73 61 67 65 20 lxw1234 message  }
Event: { headers:{} body: 6C 78 77 31 32 33 34 20 6D 65 73 73 61 67 65 20 lxw1234 message  }


Regex Extractor Interceptor
该拦截器使用正则表达式抽取原始events中的内容，并将该内容加入events header中。

[hadoop@h71 conf]$ vi extractor.conf
a1.sources = r1  
a1.sinks = k1  
a1.channels = c1  

a1.sources.r1.type = exec  
a1.sources.r1.channels = c1  
a1.sources.r1.command = tail -F /home/hadoop/hui/hehe.txt
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = regex_extractor
a1.sources.r1.interceptors.i1.regex = cookieid is (.*?) and ip is (.*)
a1.sources.r1.interceptors.i1.serializers = s1 s2
a1.sources.r1.interceptors.i1.serializers.s1.name = cookieid
a1.sources.r1.interceptors.i1.serializers.s2.name = ip

a1.sinks.k1.type = logger  

a1.channels.c1.type = memory  
a1.channels.c1.capacity = 1000  
a1.channels.c1.transactionCapacity = 100  

a1.sources.r1.channels = c1  
a1.sinks.k1.channel = c1

注意：1.把原博客中的a1.sources.r1.interceptors.i1.serializers.s1.type = default这两个删除掉，否则会报错：

Caused by: java.lang.ClassNotFoundException: default

2.正则表达式cookieid is (.*?) and ip is (.*?)改为cookieid is (.*?) and ip is (.*)，否则无法匹配IP，events header中IP为空


该配置从原始events中抽取出cookieid和ip，加入到events header中。


原始的events内容为：
[hadoop@h71 hui]$ echo "cookieid is c_1 and ip is 127.0.0.1" >> hehe.txt 
[hadoop@h71 hui]$ echo "cookieid is c_2 and ip is 127.0.0.2" >> hehe.txt 
[hadoop@h71 hui]$ echo "cookieid is c_3 and ip is 127.0.0.3" >> hehe.txt


events header中的内容为：
Event: { headers:{cookieid=c_1, ip=127.0.0.1} body: 63 6F 6F 6B 69 65 69 64 20 69 73 20 63 5F 31 20 cookieid is c_1  }
Event: { headers:{cookieid=c_2, ip=127.0.0.2} body: 63 6F 6F 6B 69 65 69 64 20 69 73 20 63 5F 32 20 cookieid is c_2  }
Event: { headers:{cookieid=c_3, ip=127.0.0.3} body: 63 6F 6F 6B 69 65 69 64 20 69 73 20 63 5F 33 20 cookieid is c_3  }


Flume的拦截器可以配合Sink完成许多业务场景需要的功能，
比如：按照时间及主机生成目标文件目录及文件名；
配合Kafka Sink完成多分区的写入等等。


本文大部分来自：
http://lxw1234.com/archives/2015/11/543.htm
http://lxw1234.com/archives/2015/11/545.htm

小强签名设计
关注
专栏目录
flume写hdfs使用日志里的时间作为文件目录
weixin_42473019的博客
04-17 916
在使用flume采集日志写入hdfs的时候，可以通过 a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/%S 配置目录名称为日期，默认情况下会使用系统时间，但是在日志采集过程中经常会发生延迟情况，比如23:59的日志00:01才采集完，那这个时候本来是前一天的日志就会被写入第二天的目录里，后续ETL的过程中就会发生误差，这个时候我们会想，能不...
Flume 拦截器interceptor和选择器selector演示案例
xiaohu21的博客
10-09 625
Flume 拦截器和选择器演示案例（interceptor、selector） 1. 背景 在大数据处理中，要处理的数据分为结构化，半结构化，非结构化数据。其中日志就是半结构化数据 当处理日志文件时，一般先使用flume或者其他方式将日志文件采集出来，一般是从日志系统中采集出来，然后存入到hdfs系统中。 当使用flume采集日志时，因为这是最原始的数据，很多时候需要对其进行一定的处理，这时候就需要用到拦截器，拦截器可以对数据做预处理。 flume的每一条数据使用Event对象包装起来，event分为he
Flume中的拦截器（Interceptor）介绍与使用（一）
热门推荐
java的平凡之路
03-24 1万+
Flume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有用，Flume-ng 1.6中目前提供了以下拦截器： Timestamp Interceptor； Host Interceptor； Static Interce
Flume实战--Flume中的拦截器详解与操作
最新发布
天冬忘忧的博客
09-29 1858
在处理大规模数据流时，Apache Flume 是一款功能强大的数据聚合工具，它可以通过拦截器在运行时对Event进行修改或丢弃。本文将详细讲解Flume中的拦截器，包括时间戳拦截器、Host添加拦截器、静态拦截器以及如何自定义拦截器。
Flume 自定义拦截器（Interceptor）
mengxianglong123的博客
10-02 761
一、案例需求 使用Flume采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。 二、需求分析 在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到Flume拓扑结构中的Multiplexing结构，Multiplexing的原理是，根据event中Header的某个key的值，将不同的event发送到不同的Channel中，所以我们需要自定义一个Interceptor，为不同类型的event的Header中的key赋予不同
flume Interceptor
LexKaing 学习天地
06-28 629
拦截器的介绍与使用Flume InterceptorsInterceptor类型说明Timestamp Interceptor在event的header中添加一个key叫：timestamp,value为当前的时间戳。Host Interceptor在event的header中添加一个key叫：host,value为当前机器的hostname或者ip。Static Interceptor可以在ev...
Flume Interceptors
01-15 140
Flume Interceptors Flume has the capability to modify/drop events in-flight. This is done with the help of interceptors. Interceptors are classes that implementorg.apache.flume.interceptor.In...
Flume拦截器(interceptor)详解和静态拦截器综合案例实现
weixin_43230682的博客
08-27 5087
目录 一、Flume拦截器(interceptor)介绍 二、Flume内置的拦截器 1、时间戳拦截器 2、主机拦截器 3、静态拦截器 4、正则过滤拦截器 三、静态拦截器综合案例实现 1. 案例场景 2. 场景分析 3. 数据流程处理分析 4. 实现 一、Flume拦截器(interceptor)介绍 拦截器是简单的插件式组件，设置在source和channel之间。source接收到的事件event，在写入channel之前，拦截器都可以进行转换或者删除这些事件。...
Flume系列：Flume 自定义Interceptor拦截器
wester的博客
05-26 1376
flume自定义Interceptor拦截器
flume拦截器及问题解决
ty_laurel的博客
01-17 8167
概述 Flume 除了主要的三大组件 Source、Channel和 Sink，还有一些其他灵活的组件，如拦截器、SourceRunner运行器、Channel选择器和Sink处理器等。 组件框架图 今天主要来看看拦截器，先看下组件框架流程图，熟悉了大致框架流程学习起来必然会更加轻松：  接收事件根据配置选择对应的Source运行器（EventDrivenSou
自定义flume拦截器(1)
qq_53316208的博客
03-07 2772
1.进入idea，在maven中导入jar包 pom.xml文件下添加代码 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.flume/flume-ng-core --> <dependency> <groupId>org.apache.flume</groupId> &l
Flume Interceptor
sunwenxu的博客
07-16 165
Interceptor概述 拦截器可以拦截Event，允许或不允许Event通过，或在允许通过的时，改变Event内容，这种改变包括改变Event的体或头信息。 拦截器可以手动开发，只要实现org.apache.flume.interceptor.Interceptor接口，在其中编写拦截规则即可。 Flume也内置了很多拦截器，可以直接使用。 可以同时配置多 个拦截器，依次拦截Event处理，...
flume拦截器
yjgithub的博客
10-17 991
拦截器作用：拦截器是简单的插件式组件，设置在source和channel之间。source接收到的事件，在写入channel之前，拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。
flume —— Interceptor 拦截器
idream
05-21 558
近期因为业务需要，解决数据漂移问题 （数据漂移：flume从kafka拉取日志到hdfs，因为使用得拦截器timestamp，就是使用系统时间作为日志落地得时间，因为kafka数据乱序问题，所以有些昨天得数据会被打上今天得系统时间；举个例子：日志内得时间戳是2019-5-20 23：59：59，但是却存在了2019-5-21得文件夹下） 所以为了解决这个问题，就要提取日志中得时间戳，作文存储...
flume-ng interceptors
既认准这条路，又何必在意要走多久
11-26 4792
flume interceptors
Flume学习系列(四)---- Interceptors（拦截器）
Badme
08-21 548
前言：flume通过使用Interceptors（拦截器）实现修改和过滤事件的功能。举个栗子，一个网站每天产生海量数据，但是可能会有很多数据是不完整的（缺少重要字段），或冗余的，如果不对这些数据进行特殊处理，那么会降低系统的效率。这时候拦截器就派上用场了。 一、flume内置的拦截器 先列个flume内置拦截器的表： table1.png 由于拦截器一般针对...
Flume中的拦截器（Interceptor）介绍与使用（二）
mnasd的博客
08-30 383
Flume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有用，Flume-ng 1.6中目前提供了以下拦截器： Timestamp Interceptor； Host Interceptor； Static Intercept...
帮我编写编写Flume拦截器
04-05
下面是一个简单的Flume拦截器示例，它将日志记录在文件中并添加一个时间戳： ``` package com.example.flume.interceptor; import org.apache.flume.Context; import org.apache.flume.Event; import org.apache....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小强签名设计

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值