Flume系列：拦截器和自定义Flume拦截器

于 2023-09-04 01:39:48 发布
阅读量119 收藏 1
点赞数 1
文章标签： flume 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_79367634/article/details/132660585
版权
大数据 专栏收录该内容
215 篇文章 10 订阅 ¥59.90 ¥99.00
订阅专栏
本文深入探讨了Apache Flume中的拦截器，包括时间戳拦截器和Host拦截器的使用，以及如何自定义拦截器来实现特定的数据处理需求。通过拦截器，可以高效地对大规模数据流进行过滤、转换和增强。
摘要由CSDN通过智能技术生成

Flume系列：拦截器和自定义Flume拦截器

Introduction

在大数据领域中，Apache Flume 是一个常用的分布式日志收集系统。它允许高效地收集、聚合和传输大规模数据流。Flume 通过使用拦截器的概念，提供了灵活的数据处理和转换能力。本文将深入探讨拦截器的概念以及如何自定义 Flume 拦截器，同时提供相应的源代码示例。

  1. 拦截器简介

拦截器（Interceptor）是 Flume 中的一个关键组件，用于对事件流进行处理和转换。每个事件都会经过一个或多个拦截器，以便进行一些特定的操作，如数据过滤、事件格式转换、数据增强等。Flume 提供了一些内置的拦截器，例如时间戳拦截器、Host 拦截器等，同时也支持自定义拦截器。

  1. 内置拦截器

2.1 时间戳拦截器

时间戳拦截器（Timestamp Interceptor）用于为事件添加时间戳信息。它可以根据事件生成的时间，或者使用 Flume 接收事件的时间来添加时间戳。以下是一个使用时间戳拦截器的示例配置：

agent.sources = source1
agent.sources.source1.interceptors = timestampInterceptor
agent.sources.source1.interceptors.timestampInterceptor.t
了解本专栏 订阅专栏 解锁全文
Flume之常用拦截器
QYHuiiQ
05-08 3378
在Flume中会使用一些拦截器对source中的数据在进入channel之前进行拦截做一些处理，比如过滤掉一些数据，或者加上一些key/value等。可以同时使用多个拦截器，实现不同的功能。 常用的拦截器有时间戳拦截器、主机名拦截器、静态拦截器等。 时间戳拦截器：会在event的Header中添加一个key为timestamp，value为当前时间戳的值。 主机名拦截器：会在event的Header中添加一个key（默认是host，也可通过hostHeader这个属性来自定义key），value是fl
flume系列之：拦截器和自定义flume拦截器
zhengzaifeidelushang的博客
08-05 597
Flume中的拦截器(interceptor)，用户Source读取events发送到Sink的时候，在Event header中加入一些有用的信息，或者对Event的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有用，例如通过拦截器可以把数据库名称、表名、Event生成的时间放入Event的header中，用于生成hdfs的文件存放目录。 如下所示是文件sink到hdfs的目录：其中optics_prod是数据库名称，sale_order是表名，这些都是通过flume拦截器获取到的。 /raw/
Flume拦截器-应用与配置
SmallCatBaby的博客
06-01 1889
Flume最重要的组件是Source、Channel和Sink，另外，Flume Agent还有一些使Flume更加灵活的组件，如拦截器，Channel选择器，Sink组和Sink选择器。本文将讨论一下拦截器的应用。 拦截器 拦截器（Interceptor）是简单的插入式组件，设置在Source和Source写入数据的Channel之间，Source接收到...
flume拦截器
热门推荐
jinYwuM的博客
09-11 1万+
摘要: 拦截器是简单的插件式组件，设置在source和channel之间。source接收到的时间，在写入channel之前，拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。 flume内置了很多拦截器，并且会定期的添加一些拦截器，在这里列出一些flume内置的，经常使用的拦截器。 一、拦截器的种类介绍 1、Timestamp Int...
Flume 拦截器
张俊杰 的博客
02-07 351
Interceptors 是拦截 event对象的.是在Source放到Channel的过程中拦截的,那么你就可以在放到Channel之前对Event对象进行处理,比如说加工一下Event或者删除一下Event都行. 在Flume中允许使用拦截器对传输中的event进行拦截和处理！拦截器必须实现org.apache.flume.interceptor.Interceptor接口。拦截器可以根据开发者的设定修改甚至删除event！Flume同时支持拦截器链，Interceptors 可以设置多个,这样的话多个
Flume系列：Flume 自定义Interceptor拦截器
最新发布
wester的博客
05-26 1343
flume自定义Interceptor拦截器
flume-timestamp-filter:水槽时间戳过滤器
06-03
水槽时间戳过滤器 Flume拦截器根据事件标头中配置的passedTime检查时间戳字段有选择地过滤事件。 这支持基于包含或排除的过滤。 入门 克隆存储库 构建源 $ mvn clean package 创建拦截器目录并部署 $ mkdir -p /usr/lib/flume-ng/plugins.d/flume-timestamp-filter/lib $ chown -R flume:flume /usr/lib/flume-ng/plugins.d/ $ cp /path/to/flume-timestamp-filter/target/flume-timestamp-filtering-interceptor-0.0.jar /usr/lib/flume-ng/plugins.d/flume-timestamp-filter/lib/ 根据Configuration配置flum
Flume：自定义拦截器-选择器-kafka
weixin_45484707的博客
10-08 1088
kafka基本操作与flume级联案例操作手册（不使用选择器、拦截器）： 1、启动hdfs、kafka （1）如果是第一次启动kafka，启动前需要设置一下broker.id=0或1： vi /opt/apps/kafka_2.11-2.0.0/config/server.properties ①broker.id=0或broker.id=1 ②zookeeper地址： zookeeper.connect=doitedu01:2181,doitedu02:2181,doitedu03:2181 （2）
FLume基础【自定义拦截器、自定义Source，自定义sink】
weixin_43923463的博客
04-18 2105
一 自定义Interceptor 1 需求分析 2 实现步骤 2.1 创建Maven项目，添加依赖 <dependencies> <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.9
flume 拦截器
JackLi31742的博客
05-27 377
a4.sources.r1.interceptors = i1 i2 a4.sources.r1.interceptors.i1.type = org.apache.flume.interceptor.TimestampInterceptor$Builder a4.sources.r1.interceptors.i2.type=host a4.sources.r1.interceptors.i2.u
Flume拦截器
happy19870612's blog
11-21 435
flume拦截器可以修改或者删除事件，flume还支持连接器链，事件可以经过一系列拦截器。多个拦截器在配置文件中以空格分隔，拦截器的顺序就是事件处理的顺序，只有一个拦截器通过之后才会进行到下一个拦截器。 一 Timestamp Interceptor： 该拦截器会插入到事件头中，会在事件头中插入一个key是timestamp的KV对，value的值是相关的timestamp。该拦截器可以保护相
flume Interceptor
LexKaing 学习天地
06-28 618
拦截器的介绍与使用Flume InterceptorsInterceptor类型说明Timestamp Interceptor在event的header中添加一个key叫：timestamp,value为当前的时间戳。Host Interceptor在event的header中添加一个key叫：host,value为当前机器的hostname或者ip。Static Interceptor可以在ev...
【Flume-03】中的拦截器
山西没老板
09-27 1373
拦截器为正则表达式拦截器, 数据源为Syslogtcp格式,传送通道为MemChannel,最后传送的目的地是HDFS。通过时间拦截器,数据源为SyslogTcp,传送的通道模式是FileChannel,最后输出的目的地为HDFS。回到第一个窗口发现，并没有采集到，那是因为我流入的数据并不符合我配置方案中的正则表达式。如果一个拦截器需要删除事件，它只需要在返回的事件集中不包含要删除的事件即可。拦截器采用了责任链模式，多个拦截器可以按指定顺序拦截。一个拦截器返回的事件列表被传递给链中的下一个拦截器。
flume拦截器介绍
luo981695830的博客
04-21 1072
flume拦截器
flume 自定义json拦截器
03-31
Flume是一个分布式、可靠、可扩展的日志收集、聚合、传输系统。它使用拦截器来处理数据流，可以在数据流经过某个拦截器时对数据进行预处理、过滤、转换等操作。 下面给出一个自定义的Flume拦截器，用于将数据转换为JSON格式。该拦截器可以将文本数据转换为JSON格式，并添加时间戳和其他元数据，方便后续处理和分析。 ```java package com.example.flume.interceptor; import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; import org.apache.flume.Context; import org.apache.flume.Event; import org.apache.flume.interceptor.Interceptor; import com.google.gson.Gson; import com.google.gson.GsonBuilder; public class JSONInterceptor implements Interceptor { private Gson gson; @Override public void initialize() { gson = new GsonBuilder().create(); } @Override public Event intercept(Event event) { // 获取原始数据 String data = new String(event.getBody()); // 将数据转换为JSON格式 Map<String, Object> jsonMap = new HashMap<String, Object>(); jsonMap.put("timestamp", System.currentTimeMillis()); jsonMap.put("data", data); String json = gson.toJson(jsonMap); // 构造新的Event Event newEvent = EventBuilder.withBody(json.getBytes(), event.getHeaders()); return newEvent; } @Override public List<Event> intercept(List<Event> events) { List<Event> interceptedEvents = new ArrayList<Event>(); for (Event event : events) { interceptedEvents.add(intercept(event)); } return interceptedEvents; } @Override public void close() { // do nothing } public static class Builder implements Interceptor.Builder { @Override public void configure(Context context) { // do nothing } @Override public Interceptor build() { return new JSONInterceptor(); } } } ``` 上述代码中，我们首先在`initialize()`方法中创建了一个Gson对象，用于将数据转换为JSON格式。然后在`intercept()`方法中，我们获取原始数据，将其封装成一个Map对象，并添加时间戳等元数据。接着使用Gson将Map对象转换为JSON格式，并构造一个新的Event对象返回。 最后，我们还需要在Flume的配置文件中添加相关配置，以启用该拦截器： ```conf agent.sources = source1 agent.sinks = sink1 agent.channels = channel1 agent.sources.source1.type = netcat agent.sources.source1.bind = localhost agent.sources.source1.port = 44444 agent.sinks.sink1.type = logger agent.channels.channel1.type = memory # 添加JSONInterceptor拦截器 agent.sources.source1.interceptors = i1 agent.sources.source1.interceptors.i1.type = com.example.flume.interceptor.JSONInterceptor$Builder agent.sources.source1.channels = channel1 agent.sinks.sink1.channel = channel1 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值