Flume自定义拦截器

于 2024-04-23 09:56:38 发布
阅读量769 收藏 7
点赞数 5
分类专栏： 大数据 离线开发 文章标签： flume 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_15304885/article/details/138111839
版权
本文介绍了如何在Flume中创建自定义拦截器，主要目的是将数据中的字母转换为大写。首先，通过Maven构建了一个包含拦截器实现的Jar包，并将其放入Flume的jar目录。接着，配置了Flume的配置文件ToUpCase.conf，最后说明了运行Flume的相关命令。
摘要由CSDN通过智能技术生成

字母小写变大写

1.Pom.xml

    <dependencies>

        <!-- flume核心依赖 -->

        <dependency>

            <groupId>org.apache.flume</groupId>

            <artifactId>flume-ng-core</artifactId>

            <version>1.8.0</version>

        </dependency>

    </dependencies>

    <build>

        <plugins>

            <!-- 打包插件 -->

            <plugin>

                <groupId>org.apache.maven.plugins</groupId>

                <artifactId>maven-jar-plugin</artifactId>

                <version>2.4</version>

                <configuration>

                    <archive>

                        <manifest>

                            <addClasspath>true</addClasspath>

                            <classpathPrefix>lib/</classpathPrefix>

                            <mainClass></mainClass>

                        </manifest>

                    </archive>
最低0.47元/天 解锁文章
佳讯好
关注
专栏目录
flume flume自定义拦截器
a3125504x的博客
09-01 1192
flume自定义拦截器flume自带拦截器flume自定义拦截器flume Interceptor源码示例原始数据格式处理后的数据第一个flume代码（自定义flume拦截器）pom文件java代码flume配置文件 flume自带拦截器 timestamp 拦截器:在Event Header中添加时间戳。 Host 拦截器:在Event Header中添加agent运行机器的Host或IP。 Static 拦截器:在Event Header中添加自定义静态属性。 Remove Header拦截器:可移除
flume自定义拦截器
qq_31866793的博客
09-03 442
1，部分代码： 注意： redisDir 是配置文件传入的redis配置文件的地址 package com.dianyou.filter; import com.dianyou.filter.action.ActionMapping; import com.dianyou.filter.action.InterfaceKeyService; import com.dianyou.filte...
Flume-自定义拦截器
clearlxj的博客
07-16 1195
自定义拦截器Interceptor 拦截器一般与选择器共同使用，来对数据进行拦截处理，并可以根据数据的不同来进行区分处理。 需求：使用Flume采集服务器本地日志，需要根据日志类型的不同，将不同种类的日志发往不同的分析系统（HDFS）。 此时会用到Flume拓扑结构中的Mutiplexing结构，其原理是根据event中的header的某个key的值，将不同的event发送到不同的channel中，因此我们需要自定义一个interceptor，为不同类型的event的header中的key赋予不同的值。 在
Flume 自定义拦截器
王佩的CSDN博客
05-27 4935
做项目时遇到一个问题，需要对接收到的日志数据做复杂逻辑处理并将一条转换成多条。 对比了td-agent,filebeat、flume日志采集工具，td-agent核心部分是用C实现，而插件部分用了ruby,但ruby不熟;filebeat正则匹配很强大，但关于插件相关资料很少;flume插件却可以直接用java实现。于是决定通过自定义flume拦截器实现这一功能。来增强对flume拦截器的认识。 ...
flume自定义拦截器学习
08-07
flume自定义拦截器学习
Flume_自定义拦截器(Interceptor)
Knight
05-10 889
案例需求 使用Flume采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。 需求分析 在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到Flume拓扑结构中的Multiplexing结构，Multiplexing的原理是，根据event中Header的某个key的值，将不同的event发送到不同的Channel中，所以我们需要自定义一个Interceptor，为不同类型的event的Header中的key赋予不同的值。
自定义flume拦截器(1)
qq_53316208的博客
03-07 2766
1.进入idea，在maven中导入jar包 pom.xml文件下添加代码 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.flume/flume-ng-core --> <dependency> <groupId>org.apache.flume</groupId> &l
flume 自定义拦截器
最初の夢
12-12 1015
拦截器存放目录:  plugins.d/任意名/lib 拦截器需要实现Interceptor接口，并实现Interceptor.Builder 接口 public class SincInterceptor implements Interceptor { public void close() { } public void initialize() { } p
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值