Flume： ------ 装饰头、查找替换拦截器、过滤抽取拦截器

最新推荐文章于 2023-07-30 07:21:39 发布
最新推荐文章于 2023-07-30 07:21:39 发布
阅读量639 收藏 2
点赞数
分类专栏： flume分布式 文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45764675/article/details/106465142
版权

Apache Flume

flume官方用户指南网址

拦截器

作用于Source组件，对Source封装的Event数据进行拦截或者是装饰 ,Flume内建了许多拦截器

  • Timestamp Interceptor

该拦截器将事件处理的时间（以毫秒为单位）插入到事件标头中。此拦截器将插入一个具有关键timestamp 的标头（或由header属性指定），其值是相关的时间戳记。如果配置中已经存在该时间戳，则该拦截器可以保留现有时间戳。

  • Host Interceptor

该拦截器将插入正在运行该代理的主机的主机名或IP地址。它会根据配置插入带有密钥主机或已配置密钥的标头，其值是主机的主机名或IP地址。

  • Static Interceptor
    静态拦截器允许用户向所有事件添加带有静态值的静态标头。
  • Remove Header Interceptor
    该拦截器通过删除一个或多个标头来操纵Flume事件标头。它可以删除静态定义的标头，基于正则表达式的标头或列表中的标头。如果这些都没有定义，或者没有标题与条件匹配，则不会修改Flume事件。
物业名称	默认	描述
类型	–	组件类型名称必须为remove_header
withName	–	要删除的标题的名称
fromList	–	要删除的标头列表，由fromListSeparator指定的分隔符分隔
fromListSeparator	\ s *，\ s *	正则表达式，用于分隔fromList指定的列表中的多个标头名称。默认为逗号，由任意数量的空格字符包围
匹配	–	名称与该正则表达式匹配的所有标头都将被删除
  • UUID Interceptor

该拦截器在所有被拦截的事件上设置一个通用的唯一标识符。示例UUID是b5755073-77a9-43c1-8fad-b7a586fc1b97，它表示128位值。

如果没有可用的事件级别的应用程序唯一键，请考虑使用UUIDInterceptor为事件自动分配UUID。在事件进入Flume网络后立即为事件分配UUID，这一点很重要。也就是说，在流的第一个Flume Source中。面对旨在实现高可用性和高性能的Flume网络中的复制和重新交付，这可以实现事件的后续重复数据删除。如果应用程序级别密钥可用，则它比自动生成的UUID更好，因为它允许使用所述众所周知的应用程序级别密钥对数据存储中的事件进行后续更新和删除。

  • Search and Replace Interceptor

该拦截器基于Java正则表达式提供简单的基于字符串的搜索和替换功能。还可以进行回溯/组捕获。该拦截器使用与Java Matcher.replaceAll（）方法相同的规则。

  • Regex Filtering Interceptor

该拦截器通过将事件主体解释为文本并将文本与已配置的正则表达式进行匹配来选择性地过滤事件。提供的正则表达式可用于包含事件或排除事件。

  • Regex Extractor Interceptor

该拦截器使用指定的正则表达式提取正则表达式匹配组，并将匹配组附加为事件的标头。它还支持可插入序列化程序，用于在将匹配组添加为事件标头之前对其进行格式化。

启动flume

[root@Centos ~]#  cd /usr/apache-flume-1.9.0-bin/
[root@Centos apache-flume-1.9.0-bin]#  ./bin/flume-ng version
Flume 1.9.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: d4fcab4f501d41597bc616921329a4339f73585e
Compiled by fszabo on Mon Dec 17 20:45:25 CET 2018
From source with checksum 35db629a3bda49d23e9b3690c80737f9

案例一装饰头：

创建example11.properties

[root@Centos conf]# vim example11.properties

a1.sources = s1
a1.sinks = sk1
a1.channels = c1
# 配置Source组件,从Socket中接收⽂本数据
a1.sources.s1.type = netcat
a1.sources.s1.bind = Centos
a1.sources.s1.port = 44444
# 添加拦截器
a1.sources.s1.interceptors = i1 i2 i3 i4
a1.sources.s1.interceptors.i1.type = timestamp
a1.sources.s1.interceptors.i2.type = host
a1.sources.s1.interceptors.i3.type = static
a1.sources.s1.interceptors.i3.key = from
a1.sources.s1.interceptors.i3.value = baizhi
a1.sources.s1.interceptors.i4.type=org.apache.flume.sink.solr.morphline.UUIDInterceptor$Builder
a1.sources.s1.interceptors.i4.headerName = uuid
# 配置Sink组件,将接收数据打印在⽇志控制台
a1.sinks.sk1.type = logger
# 配置Channel通道，主要负责数据缓冲
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# 进⾏组件间的绑定
a1.sources.s1.channels = c1
a1.sinks.sk1.channel = c1

启动flume

[root@Centos apache-flume-1.9.0-bin]# ./bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/example11.properties -Dflume.root.logger=INFO,console

启动netcat 输入数据

[root@Centos ~]# telnet Centos 44444
Trying 192.168.17.150...
Connected to Centos.
Escape character is '^]'.
todat this is a demo
OK
today is 2020 0601
OK
hello world
OK
happy every day
OK

flume端结果

表头里存在装饰信息
在这里插入图片描述

案例二查找替换拦截器

删除案例一中的from消息头，并且查找替换以jiansiyu为开头的输入数据，修改为handsome and violent

创建文件example12.properties

[root@Centos conf]# vim example12.properties

a1.sources = s1
a1.sinks = sk1
a1.channels = c1
# 配置Source组件,从Socket中接收⽂本数据
a1.sources.s1.type = netcat
a1.sources.s1.bind = Centos
a1.sources.s1.port = 44444
# 添加拦截器
a1.sources.s1.interceptors = i1 i2 i3 i4 i5 i6
a1.sources.s1.interceptors.i1.type = timestamp
a1.sources.s1.interceptors.i2.type = host
a1.sources.s1.interceptors.i3.type = static
a1.sources.s1.interceptors.i3.key = from
a1.sources.s1.interceptors.i3.value = baizhi
a1.sources.s1.interceptors.i4.type =org.apache.flume.sink.solr.morphline.UUIDInterceptor$Builder
a1.sources.s1.interceptors.i4.headerName = uuid
a1.sources.s1.interceptors.i5.type = remove_header
a1.sources.s1.interceptors.i5.withName = from
a1.sources.s1.interceptors.i6.type = search_replace
a1.sources.s1.interceptors.i6.searchPattern = ^jiangsiyu
a1.sources.s1.interceptors.i6.replaceString = handsome and violent
# 配置Sink组件,将接收数据打印在⽇志控制台
a1.sinks.sk1.type = logger
# 配置Channel通道，主要负责数据缓冲
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# 进⾏组件间的绑定
a1.sources.s1.channels = c1
a1.sinks.sk1.channel = c1

启动flume

[root@Centos apache-flume-1.9.0-bin]# ./bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/example12.properties -Dflume.root.logger=INFO,console

启动netcat 输入数据

[root@Centos ~]# telnet Centos 44444
Trying 192.168.17.150...
Connected to Centos.
Escape character is '^]'.
this is a demo
OK
my name is jiangsiyu
OK
jiangsiyu is here
OK

flume端结果

from消息头移除 如果jiangsiyu是数据消息的第一个 就会被替换为handsome and violent在这里插入图片描述
注意：^jiangsiyu前面带 ^表示头部分 不带则全部 如下

a1.sources.s1.interceptors.i6.searchPattern = jiangsiyu

在这里插入图片描述
在这里插入图片描述

案例三：过滤抽取拦截器

创建文本文件example14.properties

[root@Centos conf]# vim example14.properties

# 声明基本组件 Source Channel Sink example14.properties
a1.sources = s1
a1.sinks = sk1
a1.channels = c1
# 配置Source组件,从Socket中接收⽂文本数据
a1.sources.s1.type = netcat
a1.sources.s1.bind = Centos
a1.sources.s1.port = 44444
# 添加拦截器器
a1.sources.s1.interceptors = i1 i2
a1.sources.s1.interceptors.i1.type = regex_extractor
a1.sources.s1.interceptors.i1.regex = ^(INFO|ERROR)
a1.sources.s1.interceptors.i1.serializers = s1
a1.sources.s1.interceptors.i1.serializers.s1.name = loglevel
a1.sources.s1.interceptors.i2.type = regex_filter
a1.sources.s1.interceptors.i2.regex = .*jaingsiyu.*
a1.sources.s1.interceptors.i2.excludeEvents = false
# 配置Sink组件,将接收数据打印在⽇日志控制台
a1.sinks.sk1.type = logger
# 配置Channel通道，主要负责数据缓冲
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# 进⾏行行组件间的绑定
a1.sources.s1.channels = c1
a1.sinks.sk1.channel = c1

启动flume

[root@Centos apache-flume-1.9.0-bin]# ./bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/example14.properties -Dflume.root.logger=INFO,console

输入数据Telnet

[root@Centos ~]# telnet Centos 44444
Trying 192.168.17.150...
Connected to Centos.
Escape character is '^]'.
INFO nihao money
OK
INFO nihao jiangsiyu
OK
hello jiangsiyu
OK
hello world
OK
ERROR hello jiangsiyu
OK
ERROR hello world
OK
hello ERROR jiangsiyu
OK
hello jiangsiyu INFO
OK
hello INFO
OK

结果如下

必须含有jiangsiyu 否则接收不到 INFO/ERROR必须是头 否则在headers中不能匹配
在这里插入图片描述

姜同学的学习笔记
关注
专栏目录
flume系列之：拦截器过滤数据
zhengzaifeidelushang的博客
07-05 792
flume系列之：拦截器过滤数据
Flume-分布式日志采集
qq_36915093的博客
02-06 728
一.Flume的概述 Flume是什么 1.flume能做什么 Flume是一种分布式(各司其职)，可靠且可用的服务，用于有效地收集，聚合(比如某一个应用搭建集群，在做数据分析的时候，将集群中的数据汇总在一起)和移动大量日志数据。Flume构建在日志流之上一个简单灵活的架构。 2.flume的特性 ①它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错性。使用Flume这套架构实现对日志...
flume过滤器
07-18
flume过滤器，用于解析source，然后根据规则sink到不同的路径
Flume拦截器-查询替换拦截器
Movle
05-10 391
1.search.conf #1 agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 #2 source a1.sources.r1.type = exec a1.sources.r1.channels = c1 a1.sources.r1.command = tail -F /opt/plus a1.sources.r1.interceptors = i1 a1.sources.r1.interceptors.i1.type = search_rep
Apache Flume之正则过滤器
weixin_34112181的博客
08-02 257
在当今的大数据世界中，应用程序产生大量的电子数据 – 这些巨大的电子数据存储库包含了有价值的、宝贵的信息。 对于人类分析师或领域专家，很难做出有趣的发现或寻找可以帮助决策过程的模式。 我们需要自动化的流程来有效地利用庞大的，信息丰富的数据进行规划和投资决策。 在处理数据之前，收集数据，聚合和转换数据是绝对必要的，并最终将数据移动到那些使用不同分析和...
大数据辅助工具--Flume 数据采集组件
weixin_44387652的博客
03-22 2156
大数据辅助工具--Flume 数据采集组件1、数据收集工具系统产生背景2、专业的数据收集工具2.1、Chukwa2.2、Scribe2.3、Fluentd2.4、Logstash2.5、Apache Flume3、Flume 概述3.1、Flume 概念3.2、Flume 版本介绍4、Flume 体系结构/核心组件4.1、概述4.2、Flume 核心组件4.2.1、Event4.2.2、Client4.2.3、Agent4.2.4、Source4.2.5、Agent 之 Channel4.2.6、Agent
Flume入门必看
m0_59737088的博客
07-15 296
Flume 一、概述 本文参考原文链接 1.Flume定义 Flume是Cloudera提供的一个海量日志采集、传输的系统。Flume基于流式架构，灵活简单。 2.Flume优点 ① 可以和任意存储进程集成 ② 输入的数据速率大于写入目的存储的速率，flume会进行缓冲，减小hdfs的压力。 ③ flume中的事务基于channel，使用了两个事务模型（sender + receiver），确保消息被可靠发送。 ​ Flume使用两个独立的事务分别负责从source到channel，以及从
Apache Flum【入门篇】
路飞
03-29 451
⚠Flume是什么？ Flume 是一种分布式，可靠且可用的服务，用于有效地收集，聚合 和移动大量数据。 Flume 构建在日志流之上一个简单灵活的架构。它具有可靠性 机制和许多故障转移和恢复机制，具有强大的容错性。使用Flume这套架构实现在线分析。Flume支持在日志系统中定制各类`数据发送方`，用于收集数据；同时，Flume 提供对数据进行简单的处理，并且写到各种`数据接收方` （可定制）的...
2022年Java 工程师面试题
weixin_42572320的博客
03-03 2578
第 1 页 共 485 页 目录 1、什么是 Mybatis？............................................................................... 33 2、Mybaits 的优点：............................................................................... 33 3、MyBatis 框架的缺点：.............................
Flume 根据字段进行路由插入 ES
04-26
基于Flume-1.8.0，ES-5.6.11 ， 根据某个字段创建 type ,进行路由批量插入 ES，使用redis 缓存已从MySQL 查出的转换数据
Apache Flume 实现过滤功能
大数据流浪法师的学习笔记与分享
12-05 394
A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log 现在要求把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中，并且在hdfs中输出的目录指定为： /source/logs/access/20180101/** /source/logs/nginx/20180101/** /sou...
使用自定义程序过滤flume数据
balalaxstar的博客
05-25 377
编写java自定义过滤程序 新建一个maven项目 在pom.xml中添加 <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.6.0</version> </dependency> 新建java程序 package flu
flume flume自定义sink过滤数据库字段
a3125504x的博客
09-02 386
flume自定义sink过滤数据库字段理论准备数据准备代码java代码flume配置文件官网地址 理论准备 自定义sink需要继承AbstractSink类，并实现以下3个方法 start() process() stop() transaction： 数据准备 # 创建一个数据库 CREATE DATABASE IF NOT EXISTS mysqlsource DEFAULT CHARACTER SET utf8 ; USE mysqlsource; #v 创建一个表，用户保存拉取目标表位置的信息
大数据小白必知必会之Flume实现过滤器效果
大数据梦想家
09-17 3315
Flume如何实现过滤器效果？快来瞅瞅！
Flume配置2——拦截器过滤
weixin_51699336的博客
06-28 1037
Flume配置2——拦截器过滤
flume自定义拦截器(过滤)配置
最新发布
互联网知识分享
07-30 378
拦截器按照它们在配置文件中的顺序进行处理，可以有多个拦截器作为一个拦截器链来使用。拦截器处理的顺序可以通过在配置文件中的位置来控制，第一个拦截器首先处理事件，然后依次向下传递。我们可以根据具体的需求添加更多的拦截器，并在每个拦截器中指定相关的参数。拦截器是一个用于数据转移的组件，可以在事件流通过通道时对事件进行检查、修改或拦截。自定义拦截器的配置和实现的理论原理解说、完整代码注释案例以及参数介绍。提供了许多内置的拦截器，但我们也可以通过自定义拦截器来实现自定义的数据过滤和处理。，指定自定义拦截器链的名称。
处理字符串_5_字符串里过滤不需要的字符
数据科学汇集
04-06 208
字符串里过滤不需要的字符 需求描述 需求：过滤tmp_v视图里含数字的部分. 其中tmp_v视图的data字段的定义是emp表的ename字段拼接空格和deptno字段。 解决方法:这里通过translate函数对含数字的部分进行替换. 注: 数据库数据集SQL脚本详见如下链接地址 员工表结构和数据初始化SQL脚本 SQL代码 --SQL Server: create view tmp_v AS SELECT ename+' '+ c...
flume源码学习5-RegexExtractorInterceptor实现
weixin_33827965的博客
03-11 175
RegexExtractorInterceptor作为一个Interceptor实现类可以根据一个正则表达式匹配event body来提取字符串，并使用serializers把字符串作为header的值实例：以如下的命令使用execsource收集日志的时候，可以根据文件的名称设置不同的header，进行不同的操作#!/bin/sh filename=$1 hostname=...
构建实时大数据处理系统：Flume-Kafka-Storm-HDFS集成实战
"本文主要介绍了如何构建一个基于flume-ng、Kafka、Storm和HDFS的实时处理系统，探讨了项目架构的特点、数据准确性保证、Kafka的原理以及flume与Kafka的集成方法，同时提供了监控数据传输的手段。" 大数据处理中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值