Flume拦截器（含自定义拦截器）

最新推荐文章于 2024-05-07 15:38:45 发布
最新推荐文章于 2024-05-07 15:38:45 发布
阅读量1.5k 收藏 13
点赞数 1
文章标签： 大数据 flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43520450/article/details/105667998
版权

Flume拦截器（含自定义拦截器）

——————— —————————— —————————— —————————— —————————— ————————

一、Flume拦截器

1.1 时间戳拦截器

（1）Timestamp.conf

#1.定义agent名， source、channel、sink的名称
a4.sources = r1
a4.channels = c1
a4.sinks = k1
 
#2.具体定义source
a4.sources.r1.type = spooldir
a4.sources.r1.spoolDir = /opt/module/flume-1.8.0/upload

#定义拦截器，为文件最后添加时间戳
a4.sources.r1.interceptors = timestamp
a4.sources.r1.interceptors.timestamp.type = org.apache.flume.interceptor.TimestampInterceptor$Builder

 

#具体定义channel
a4.channels.c1.type = memory
a4.channels.c1.capacity = 10000
a4.channels.c1.transactionCapacity = 100

#具体定义sink
a4.sinks.k1.type = hdfs
a4.sinks.k1.hdfs.path = hdfs://bigdata111:9000/flume-interceptors/%H
a4.sinks.k1.hdfs.filePrefix = events-
a4.sinks.k1.hdfs.fileType = DataStream

#不按照条数生成文件
a4.sinks.k1.hdfs.rollCount = 0

#HDFS上的文件达到128M时生成一个文件
a4.sinks.k1.hdfs.rollSize = 134217728

#HDFS上的文件达到60秒生成一个文件
a4.sinks.k1.hdfs.rollInterval = 60

#组装source、channel、sink
a4.sources.r1.channels = c1
a4.sinks.k1.channel = c1

（2）启动命令：

/opt/module/flume-1.8.0/bin/flume-ng agent -n a4 \
-f /opt/module/flume-1.8.0/jobconf/flume-interceptors.conf \
-c /opt/module/flume-1.8.0/conf \
-Dflume.root.logger=INFO,console

1.2 主机名拦截器

（1）Host.conf

#1.定义agent
a1.sources= r1
a1.sinks = k1
a1.channels = c1

#2.定义source
a1.sources.r1.type = exec
a1.sources.r1.channels = c1
a1.sources.r1.command = tail -F /opt/plus

#拦截器
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = host

#参数为true时用IP192.168.1.111，参数为false时用主机名，默认为true
a1.sources.r1.interceptors.i1.useIP = false
a1.sources.r1.interceptors.i1.hostHeader = agentHost

#3.定义sinks
a1.sinks.k1.type=hdfs
a1.sinks.k1.channel = c1
a1.sinks.k1.hdfs.path = hdfs://bigdata111:9000/flumehost/%{agentHost}
a1.sinks.k1.hdfs.filePrefix = plus_%{agentHost}

#往生成的文件加后缀名.log
a1.sinks.k1.hdfs.fileSuffix = .log
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.rollInterval = 10
a1.sinks.k1.hdfs.useLocalTimeStamp = true
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

（2）启动命令：

bin/flume-ng agent -c conf/ 
-f jobconf/host.conf
-n a1 -Dflume.root.logger=INFO,console

1.3 UUID拦截器

（1）uuid.conf

a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = exec
a1.sources.r1.channels = c1
a1.sources.r1.command = tail -F /opt/plus
a1.sources.r1.interceptors = i1

#type的参数不能写成uuid，得写具体，否则找不到类
a1.sources.r1.interceptors.i1.type = org.apache.flume.sink.solr.morphline.UUIDInterceptor$Builder

#如果UUID头已经存在,它应该保存
a1.sources.r1.interceptors.i1.preserveExisting = true
a1.sources.r1.interceptors.i1.prefix = UUID_

#如果sink类型改为HDFS，那么在HDFS的文本中没有headers的信息数据
a1.sinks.k1.type = logger
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

（2）启动命令：

bin/flume-ng agent -c conf/ 
-f jobconf/uuid.conf
-n a1 -Dflume.root.logger==INFO,console

1.4 查询替换拦截器

（1）search.conf

#1 agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#2 source
a1.sources.r1.type = exec
a1.sources.r1.channels = c1
a1.sources.r1.command = tail -F /opt/plus
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = search_replace

#遇到数字改成itstar，A123会替换为Aitstar
a1.sources.r1.interceptors.i1.searchPattern = [0-9]+
a1.sources.r1.interceptors.i1.replaceString = ***
a1.sources.r1.interceptors.i1.charset = UTF-8

#3 sink
a1.sinks.k1.type = logger

#4 Chanel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

#5 bind
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

（2）启动命令：

bin/flume-ng agent -c conf/ 
-f jobconf/search.conf 
-n a1 -Dflume.root.logger=INFO,console

1.5 正则过滤拦截器

（1）filter.conf

#1 agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#2 source
a1.sources.r1.type = exec
a1.sources.r1.channels = c1
a1.sources.r1.command = tail -F /opt/plus
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = regex_filter
a1.sources.r1.interceptors.i1.regex = ^A.*

#如果excludeEvents设为false,表示过滤掉不是以A开头的events。如果excludeEvents设为true，则表示过滤掉以A开头的events。
a1.sources.r1.interceptors.i1.excludeEvents = true
a1.sinks.k1.type = logger
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

（2）启动命令：

bin/flume-ng agent -c conf/ 
-f jobconf/filter.conf 
-n a1 -Dflume.root.logger=INFO,console

1.6 正则抽取拦截器

（1）extractor.conf

#1 agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#2 source
a1.sources.r1.type = exec
a1.sources.r1.channels = c1
a1.sources.r1.command = tail -F /opt/plus
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = regex_extractor

# hostname is bigdata111 ip is 192.168.20.111
a1.sources.r1.interceptors.i1.regex = hostname is (.*?) ip is (.*)
a1.sources.r1.interceptors.i1.serializers = s1 s2

#hostname（自定义）= (.*?)->bigdata111 
a1.sources.r1.interceptors.i1.serializers.s1.name = hostname

#ip（自定义） = (.*)->192.168.20.111
a1.sources.r1.interceptors.i1.serializers.s2.name = ip
a1.sinks.k1.type = logger
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

（2）启动命令：

bin/flume-ng agent -c conf/ 
-f jobconf/extractor.conf 
-n a1 -Dflume.root.logger=INFO,console

注：正则抽取拦截器的headers不会出现在文件名和文件内容中

二、Flume自定义拦截器

目标：字母小写变大写

2.1 添加Pom.xml依赖

<dependencies>
	<!-- flume核心依赖 -->
	<dependency>
	<groupId>org.apache.flume</groupId>
	<artifactId>flume-ng-core</artifactId>
	<version>1.8.0</version>
	</dependency>
</dependencies>
<build>
	<plugins>
	<!-- 打包插件 -->       
	<plugin>          
		<groupId>org.apache.maven.plugins</groupId>        
		<artifactId>maven-jar-plugin</artifactId>
		<version>2.4</version>
		<configuration>
			<archive>
				<manifest>
				<addClasspath>true</addClasspath>                
				<classpathPrefix>lib/</classpathPrefix>
				<mainClass></mainClass>
				</manifest>
			</archive>
		</configuration>        
	</plugin>       
	<!-- 编译插件 -->
		<plugin>
			<groupId>org.apache.maven.plugins</groupId>
			<artifactId>maven-compiler-plugin</artifactId>
		<configuration>              
			<source>1.8</source>            
			<target>1.8</target>            
			<encoding>utf-8</encoding>         
		</configuration>         
		</plugin>
	</plugins>   
</build>

2.2 自定义实现拦截器

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;
import java.util.ArrayList;
import java.util.List;

public class MyInterceptor implements
Interceptor {
   
	@Override
	public void initialize() {

    	}
   
	@Override
	public void close() {

    	}

    /**
     * 拦截source发送到通道channel中的消息
     *@param event 接收过滤的event
     *@return event    根据业务处理后的event
     */
  
	@Override
	public Event intercept(Event event) {
		// 获取事件对象中的字节数据
		byte[] arr = event.getBody();

		// 将获取的数据转换成大写
		event.setBody(new String(arr).toUpperCase().getBytes());

		// 返回到消息中
		return event;
    }

	// 接收被过滤事件集合
	@Override
	public List<Event> intercept(List<Event> events) {

	List<Event> list = new ArrayList<>();
	for (Event event : events) {
            list.add(intercept(event));
        }
		return list;
    }

public static class Builder implements Interceptor.Builder {
	// 获取配置文件的属性
	@Override
	public Interceptor build() {
		return new MyInterceptor();
        }
       
	@Override
	public void configure(Context context) {

        }

    }

使用Maven做成Jar包，在flume的目录下mkdir
jar，上传此jar到jar目录中

2.3 Flume配置文件

（1）ToUpCase.conf

#1.agent 
a1.sources = r1
a1.sinks =k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/plus
a1.sources.r1.interceptors = i1

#全类名$Builder
a1.sources.r1.interceptors.i1.type = ToUpCase.MyInterceptor$Builder

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /ToUpCase1
a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
a1.sinks.k1.hdfs.rollInterval = 3
a1.sinks.k1.hdfs.rollSize = 20
a1.sinks.k1.hdfs.rollCount = 5
a1.sinks.k1.hdfs.batchSize = 1
a1.sinks.k1.hdfs.useLocalTimeStamp = true

#生成的文件类型，默认是 Sequencefile，可用 DataStream，则为普通文本
a1.sinks.k1.hdfs.fileType = DataStream

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

（2）启动命令：

bin/flume-ng agent -c conf/ -n a1 
-f jar/ToUpCase.conf 
-C jar/Flume-1.0-SNAPSHOT.jar
-Dflume.root.logger=DEBUG,console

三、其它案例

请参考上一篇博文：链接: https://blog.csdn.net/weixin_43520450/article/details/105644663

故明所以
关注
  • 1
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
自定义flume拦截器(1)
qq_53316208的博客
03-07 2720
1.进入idea，在maven中导入jar包 pom.xml文件下添加代码 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.flume/flume-ng-core --> <dependency> <groupId>org.apache.flume</groupId> &l
Flume -自定义Interceptor（拦截器）
weixin_42289266的博客
08-06 315
1、引入 pom依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4
自定义flume拦截器-实现了多种功能
热门推荐
第一片心意的博客
06-21 1万+
1. 自定义拦截器实现说明 1. 实现interceptor接口，并实现其方法，接口完全限定名为：org.apache.flume.interceptor.Interceptor; 2. 自定义拦截器内部添加静态内部类，实现Builder接口，并实现其方法，接口完全限定名为：Interceptor.Builder 以下是最简单的代码示例（每个方法的作用都有注释说明）：......
【Flume】Interceptor拦截器 (三)
最新发布
大数据爱好者的博客
05-07 1100
实际过程中，可以使用Ganglia监控Flume的数据流。Ganglia是Berkeley发起的一个开源的集群监控项目，可以检测数以千计的节点的性能Ganglia包含三个模块gmond(Ganglia Monitoring Daemon)：轻量级的监控服务，需要监控哪一个节点的性能，就在这个节点上安装gmond服务，可以监控当前节点(系统)的各种指标数据：CPU、内存、磁盘、网络等信息。
flume常用的拦截器和自定义拦截器
xuxu96
03-29 2277
在我们公司的一个项目中，在手机日志信息的时候需要设计一个拦截器方便后面数据的清洗和分类，减轻集群的压力。因此深入的研究了一下flume的拦截器 Flume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有用，Flume-ng 1....
flume自定义拦截器
泛音青年的博客
07-20 604
1.背景介绍 鉴定Flume可以对数据进行简单处理，有一个需求是接收syslog格式的数据写入kafka，如果收到了非syslog数据，则分发到异常的kafka topic里做一个记录，或者对数据过滤完成初步的数据清洗。通过拦截器Interceptor实现不同的功能。Source将同一个事务的所有事件event传递给Channel处理器，进而依次可以传递给多个拦截器，直至从最后一个拦截器中返回的最终事件event写入到对应的Channel中。 2.架构图 [外链图片转存失败,源站可能有防盗链机制,建议将图片
Flume编写拦截器
张俊杰 的博客
10-20 837
前提 已经安装了Kafka Flume Zookeeper 编写Flume拦截器 <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.7.0</version> </dependency> MyInterceptor import java
Flume拦截器（正则过滤拦截器，使用idea自定义拦截器）
May_J_Oldhu的博客
12-01 674
Flume拦截器一.使用正则拦截器（去掉首行）二.自定义拦截器1.创建maven工程2.在idea中自定义编写拦截器3.打成jar包传到$FLUME_HOME/lib 目录下4.编写agent文件5.执行结果 一.使用正则拦截器（去掉首行） 需求： 使用Spooling directory source监督符合格式的文件进行上传（格式：user_年-月-日.csv）; 使用正则拦截器去除首行; 使用file channel进行缓存； 以规定的文件格式（）上传到HDFS上规定文件夹下 [root@hadoop
flume-demo_大数据_flume_DEMO_自定义拦截器_
10-04
这个名为 "flume-demo_大数据_flume_DEMO_自定义拦截器_" 的项目，显然是一个示例，展示了如何在 Flume 中创建并使用自定义拦截器来过滤数据。下面我们将深入探讨 Flume 的基本概念、拦截器的作用以及如何自定义拦截...
Flume进阶-自定义拦截器jar包
04-28
Flume进阶-自定义拦截器jar包
flume自定义拦截器学习
08-07
flume自定义拦截器学习
flume自定义函数
08-13
本篇将深入探讨如何在Flume中实现自定义函数，特别是自定义拦截器（Interceptor）和自定义Sink。 **一、Flume概述** Flume的核心组件包括Source、Channel和Sink。Source负责从数据源获取事件，Channel作为缓冲区...
大数据采集技术-flume拦截器.pdf
12-23
大数据采集技术与应用
flume自定义拦截器：根据业务数据中的时间戳实现数据在hdfs中的正确分区
qq_34864753的博客
03-20 1321
业务场景：埋点数据落hive表，且埋点数据中带有数据产生时的时间字段 业务流程：kafka->flume->hdfs->hive 问题：晚到的埋点数据会落到哪个分区中 9点产生的埋点数据 由于数据上报或者flume sink的延迟会落到9点的分区中么？答案是不会的 flume抽取到的数据也成为event，event分为header和body，如果你flume sink...
flume案例（一）：自定义拦截器案例实现
weixin_41765352的博客
12-02 377
在该案例中，我们以端口数据模拟日志，以是否包含”sxsy.com”模拟不同类型的日志，我们需要自定义 interceptor 区分数据中是否包含”sxsy.com”，将其分别发往不同的分析系统（Channel）。
Flume如何自定义拦截器
别人笑我太疯癫，我笑他人看不穿。
03-24 626
Flume的拦截器很简单，大致操作如下 1、导入flume的jar包 2、准备一个类实现flume提供的interceptor接口，并在其中定义一个静态内部类，实现interceptor的内部接口builder 3、Interceptor的实现类有四个方法，intercept单个event的处理，另一个intercept是处理多个event，close关闭资源、initialize初始化方法 4、Builder的实现类有两个方法，build是如何构造自己的拦截器对象、configure可以获取我们自己编写的
Flume自定义拦截器
FlatTiger的博客
04-07 1513
需求 定义两个拦截器，一个用于过滤不合法数据，一个用于区分日志类型。 ETL拦截器主要用于，过滤时间戳不合法和Json数据不完整的日志。 日志类型区分拦截器主要用于，将启动日志和事件日志区分开来，方便发往Kafka的不同Topic。 导入依赖 <dependencies> <dependency> <groupId>org.apache.flume</groupId> <artifac
【Flume-03】中的拦截器
山西没老板
09-27 1357
拦截器为正则表达式拦截器, 数据源为Syslogtcp格式,传送通道为MemChannel,最后传送的目的地是HDFS。通过时间拦截器,数据源为SyslogTcp,传送的通道模式是FileChannel,最后输出的目的地为HDFS。回到第一个窗口发现，并没有采集到，那是因为我流入的数据并不符合我配置方案中的正则表达式。如果一个拦截器需要删除事件，它只需要在返回的事件集中不包含要删除的事件即可。拦截器采用了责任链模式，多个拦截器可以按指定顺序拦截。一个拦截器返回的事件列表被传递给链中的下一个拦截器。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值