IDEA2020修改flume源码并重新编译生成jar包

本文详细介绍了如何在IDEA2020中修改Flume 1.7.0源码,以适应在大数据环境中配置HBase sink时的特定需求。通过下载源码、编译、导入IDEA、定位并修改所需类,以及使用Maven命令生成jar包,最后在源码目录的out文件夹中找到新jar包。
摘要由CSDN通过智能技术生成

在大数据实操中配置flume配置文件时,会遇到数据分发到hbase中,配置hbase sink的情况,在配置中会配置serializer 对应的类,这需要我们根据需求修改flume源码,重新编译生成jar包。以下是使用IDEA2020修改flume源码并重新编译生成jar包的方法。

下载Flume源码

在官网下载与安装配置的Flume版本相对应的源码。
官方网址https://downloads.apache.org/flume/
我使用的版本是1.7.0,源码对应的是src,应用对应的是bin。
官网下载源码

对源码进行编译

进入源码下载的目录
打开cmd切换目录
切换目录

源码目录
执行maven编译命令

mvn clean compile

编译
执行过程中报错,解决方法见https://blog.csdn.net/Defender_bakery/article/details/116599948

编译成功
编译成功

标题将源码导入IDEA2020.1

建议将整个代码导入不然会报很多错
IDEA导入源码

找到需要修改的类的位置

首先我们要明确使用到的类是什么,然后去按照需求修改就行。
具体的相关信息可以在官网上看到,我使用的是hbase异步接收器,官网上写道需要配置指定的实现类AsyncHbaseEventSerializer将flume接收到的数存储到到HBase。
hbase异步接收器
在具体配置中也有这个类的具体位置
需配置类的具体位置
IDEA上具体的位置在
idea打开需修改的类

修改源码

秉持保护源码的原则,我们不直接在源代码上进行修改,新建一个类,把源码复制粘贴过去再进行修改。
1>新建类
新建类 KfkAsyncHbaseEventSerializer新建类
2>将SimpleAsyncHbaseEventSerializer的代码复制粘贴过去

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值