flume自定义序列化类遇到classNotFound问题

环境:Cloudera
flume:1.9
自已打好jar包放入flume lib文件夹下;
如:flume-1.0.0/plugins.d/
flume-1.0.0/plugins.d/custom-MysqlSink/
flume-1.0.0/plugins.d/custom-MysqlSink/lib/mysql-sink.jar
flume-1.0.0/plugins.d/custom-MysqlSink/libext/mysql-connector-java-6.0.5.jar

启动后遇报错,信息如下:

HBase2Sink
Could not instantiate event serializer.
java.lang.ClassNotFoundException: com.zhonghuan.eventhbase.HBase2EventSerializer_eleT
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:355)
at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:264)
at org.apache.flume.sink.hbase2.HBase2Sink.configure(HBase2Sink.java:247)
at org.apache.flume.conf.Configurables.configure(Configurables.java:41)
at org.apache.flume.node.AbstractConfigurationProvider.loadSinks(AbstractConfigurationProvider.java:453)
at org.apache.flume.node.AbstractConfigurationProvider.getConfiguration(AbstractConfigurationProvider.java:106)
at
找不到类,此时可以关注下jar包的权限问题,有可能flume或Cloudera 环境无法读取jar包导致的。

解决:修改jar包权限。例:chmod 777 mysql-connector-java-6.0.5.jar 即可解决。
另外一种可能报classNotFound的情况:
找到相关代码:
public class TripEventDataAsynSerializer implements AsyncHbaseEventSerializer {}
AsyncHbaseEventSerializer类为hbase1.0相关接口,flume支持hbase2.0以上,所以要切换的hbase2.0相关类。
如:
public class HBase2EventSerializer_ele implements HBase2EventSerializer {}
或者:
public class HBase2EventSerializer_eleT implements HbaseEventSerializer {}
附一个hbase序列化链接自定义hbase序列化

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值