Flume拦截器-正则过滤拦截器

最新推荐文章于 2022-06-28 20:47:27 发布
最新推荐文章于 2022-06-28 20:47:27 发布
阅读量841 收藏 2
点赞数
分类专栏： Flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aflyingcat520/article/details/106024944
版权
1.filter.conf
#1 agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#2 source
a1.sources.r1.type = exec
a1.sources.r1.channels = c1
a1.sources.r1.command = tail -F /opt/plus
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = regex_filter
a1.sources.r1.interceptors.i1.regex = ^A.*
#如果excludeEvents设为false,表示过滤掉不是以A开头的events。如果excludeEvents设为true，则表示过滤掉以A开头的events。
a1.sources.r1.interceptors.i1.excludeEvents = true

a1.sinks.k1.type = logger

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
2.启动命令：
bin/flume-ng agent -c conf/ -f jobconf/filter.conf -n a1 -Dflume.root.logger=INFO,console
Movle
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flume拦截器（正则过滤拦截器，使用idea自定义拦截器）
May_J_Oldhu的博客
12-01 681
Flume拦截器一.使用正则拦截器（去掉首行）二.自定义拦截器1.创建maven工程2.在idea中自定义编写拦截器3.打成jar包传到$FLUME_HOME/lib 目录下4.编写agent文件5.执行结果 一.使用正则拦截器（去掉首行） 需求： 使用Spooling directory source监督符合格式的文件进行上传（格式：user_年-月-日.csv）; 使用正则拦截器去除首行; 使用file channel进行缓存； 以规定的文件格式（）上传到HDFS上规定文件夹下 [root@hadoop
Flume 正则过滤拦截器、时间戳拦截器
GX_0824的博客
09-21 344
a1.sources.s1.interceptors.i1.excludeEvents = false //默认收集符合匹配条件的事件。a1.sources.s1.interceptors.i1.regex = (Spark) | (Hadoop) //正则表达式。a1.sources.s1.interceptors.i1.type = regex_filter //拦截器名称。a1.sources.s1.interceptors.i1.type = timestamp //拦截器名称。
【Flume】Flume 正则拦截器
beautiful_huang的博客
02-10 1117
Flume中常用Kafka Source、正则拦截器、HDFS Sink,这里把需要注意的点做一下总结,并实现数据根F据事件时间和事件类型落到HDFS。 Kafka Source 配置 # source类型 agent.sources.s1.type = org.apache.flume.source.kafka.KafkaSource # kafka brokers列表 agent.source...
flume正则拦截器
鸭梨的博客
10-27 376
属性 regex就是要传入的参数 正则表达式 excludeEvents 是一个布尔值,就是说你是要符号正则的,还是不符合正则的内容. private static final Logger logger = LoggerFactory .getLogger(RegexFilteringInterceptor.class); private final Pattern regex; private final boolean excludeEvents; 构造函数 privat
flume过滤器
07-18
flume过滤器，用于解析source，然后根据规则sink到不同的路径
大数据采集技术-flume拦截器.pdf
12-23
例如，我们可以添加一个简单的基于正则表达式的拦截器来过滤特定的数据： ```properties source { ... interceptors { i1 { type = regex-filter regex = "(regex pattern to match)" } } } ``` 接下来，...
大数据采集技术-Flume拦截器的使用.pptx
12-23
总结来说，Flume拦截器是实现数据采集过程中预处理的关键工具，它能够根据实际需求对数据进行清洗、转换、过滤或增强，从而提高数据质量，为后续的大数据分析提供更好的原料。通过灵活配置和自定义拦截器，我们可以...
flume-custom-regex-interceptor
07-05
水槽自定义正则表达式拦截器简单拦截器，它是 Flume 正则表达式过滤器拦截器的扩展。 使用可以指定需要从事件 bosy 中拉出以发送到 Channel/Sink 的字段列表添加了一个名为 indexSelector 的新文件 agent.sourcs....
flume数据采集端过滤工程
01-04
3. **自定义过滤器**：通过编写自定义Flume拦截器插件，实现特定业务逻辑的过滤需求。 Flume的工作流程是通过Agent（代理）来完成的，每个Agent由Source、Channel和Sink三部分组成。在Source与Channel之间，或者...
Flume的channel和sink.docx
05-16
Apache Flume 是一个分布式、可靠且可用于有效收集、聚合和移动大量日志数据的系统。在Flume中，数据流动的核心组件是`...选择合适的Channel类型和Sink类型，以及利用选择器和拦截器，可以优化数据流动的效率和安全性。
Flume正则拦截器(regex_filter) 以及自定义拦截器
zp17834994071的博客
08-11 3101
前面已经给大家说过flume的简介以及安装，还有不明白的可以再去看看： Flume简介以及详细安装教程 在当今大数据时代，在处理海量数据之前，收集数据，聚合和转换数据是绝对必要的，并最终将数据移动到那些使用不同分析和数据挖掘工具的存储库中。 执行所有这些步骤的流行工具之一是Apache Flume。 这些数据通常是以事件或日志的形式存储。 Apache Flume有三个主要组件： Source：数据源可以是企业服务器，文件系统，云端，数据存储库等。 Channel：在事件被sink消耗前由Channel 存
Apache Flume之正则过滤器
weixin_34112181的博客
08-02 245
在当今的大数据世界中，应用程序产生大量的电子数据 – 这些巨大的电子数据存储库包含了有价值的、宝贵的信息。 对于人类分析师或领域专家，很难做出有趣的发现或寻找可以帮助决策过程的模式。 我们需要自动化的流程来有效地利用庞大的，信息丰富的数据进行规划和投资决策。 在处理数据之前，收集数据，聚合和转换数据是绝对必要的，并最终将数据移动到那些使用不同分析和...
Flume拦截器-正则抽取拦截器
Movle
05-10 386
1.extractor.conf #1 agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 #2 source a1.sources.r1.type = exec a1.sources.r1.channels = c1 a1.sources.r1.command = tail -F /opt/plus a1.sources.r1.interceptors = i1 a1.sources.r1.interceptors.i1.type = regex_e
Flume正则拦截器(regex_filter) 以及自定义拦截器（转载）
kikkc的博客
08-27 532
前面已经给大家说过flume的简介以及安装，还有不明白的可以再去看看： Flume简介以及详细安装教程 在当今大数据时代，在处理海量数据之前，收集数据，聚合和转换数据是绝对必要的，并最终将数据移动到那些使用不同分析和数据挖掘工具的存储库中。 执行所有这些步骤的流行工具之一是Apache Flume。 这些数据通常是以事件或日志的形式存储。 Apache Flume有三个主要组件： Source：数据源可以是企业服务器，文件系统，云端，数据存储库等。 Channel：在事件被sink消耗前由Channel 存
flume 的官方正则过滤器
哎幽的成长
01-11 7792
本文内容：前两天在弄flume的正则过滤器，因为日志截取原因，自定义写了一个。今天就说一下官方的正则过滤器。官方的正则过滤器用来过滤被正则匹配的日志。1.excludeEvents属性当 excludeEvents 属性值为 true 则把正则匹配到的日志 过滤掉，不读取到channel，通过sink 进行输出。当 excludeEvents 属性值为 false 则把正则没有匹配到的日志
Flume配置2——拦截器过滤
weixin_51699336的博客
06-28 1000
Flume配置2——拦截器过滤
flume过滤器（regex_正则过滤器）
hua_ge_zui_liang的博客
05-21 685
1、新建需要进行regex过滤的文件 在flume安装目录下的conf下面新建job 然后在job下面新建文件 [root@cjh1 job]# touch users-flume-rmhdhdfs.conf 进入编辑创建的文件 [root@cjh1 job]# vi ./users-flume-rmhdhdfs.conf users.sources=usersSource users.channels=usersChannel users.sinks=usersSink users.sources
自定义flume拦截器-实现了多种功能
热门推荐
第一片心意的博客
06-21 1万+
1. 自定义拦截器实现说明 1. 实现interceptor接口，并实现其方法，接口完全限定名为：org.apache.flume.interceptor.Interceptor; 2. 自定义拦截器内部添加静态内部类，实现Builder接口，并实现其方法，接口完全限定名为：Interceptor.Builder 以下是最简单的代码示例（每个方法的作用都有注释说明）：......
flume拦截器
jinYwuM的博客
09-11 1万+
摘要: 拦截器是简单的插件式组件，设置在source和channel之间。source接收到的时间，在写入channel之前，拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。 flume内置了很多拦截器，并且会定期的添加一些拦截器，在这里列出一些flume内置的，经常使用的拦截器。 一、拦截器的种类介绍 1、Timestamp Int...
帮我编写编写Flume拦截器
最新发布
04-05
下面是一个简单的Flume拦截器示例，它将日志记录在文件中并添加一个时间戳： ``` package com.example.flume.interceptor; import org.apache.flume.Context; import org.apache.flume.Event; import org.apache.flume.interceptor.Interceptor; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import java.io.File; import java.io.FileWriter; import java.io.IOException; import java.text.SimpleDateFormat; import java.util.Date; import java.util.List; public class TimestampInterceptor implements Interceptor { private static final Logger logger = LoggerFactory.getLogger(TimestampInterceptor.class); private FileWriter fileWriter; private TimestampInterceptor(FileWriter fileWriter) { this.fileWriter = fileWriter; } @Override public void initialize() { // 初始化方法，可以用于读取配置文件等 } @Override public Event intercept(Event event) { // 对每个事件进行拦截处理 String body = new String(event.getBody()); String timestamp = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date()); String log = String.format("[%s] %s", timestamp, body); try { fileWriter.write(log); fileWriter.flush(); } catch (IOException e) { logger.error("Failed to write log to file", e); } return event; } @Override public List<Event> intercept(List<Event> events) { // 对事件列表进行批量处理 for (Event event : events) { intercept(event); } return events; } @Override public void close() { // 关闭方法，可以用于释放资源等 try { fileWriter.close(); } catch (IOException e) { logger.error("Failed to close file writer", e); } } public static class Builder implements Interceptor.Builder { private FileWriter fileWriter; @Override public void configure(Context context) { // 配置方法，可以用于读取参数等 String fileName = context.getString("fileName", "flume.log"); try { File file = new File(fileName); if (!file.exists()) { file.createNewFile(); } fileWriter = new FileWriter(file, true); } catch (IOException e) { logger.error("Failed to create file writer", e); } } @Override public Interceptor build() { // 构建方法，返回一个Interceptor实例 return new TimestampInterceptor(fileWriter); } } } ``` 这个拦截器会在Flume接收到事件后将日志写入文件中，并在每行日志前添加一个时间戳。在Flume配置文件中使用这个拦截器的方法如下： ``` agent.sources = source1 agent.channels = channel1 agent.sinks = sink1 agent.sources.source1.type = ... agent.sources.source1.interceptors = interceptor1 agent.sources.source1.interceptors.interceptor1.type = com.example.flume.interceptor.TimestampInterceptor$Builder agent.sources.source1.interceptors.interceptor1.fileName = /path/to/log/file agent.channels.channel1.type = ... agent.channels.channel1.capacity = ... agent.channels.channel1.transactionCapacity = ... agent.sinks.sink1.type = ... agent.sinks.sink1.channel = channel1 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值