flume No such file or directory

cdh上使用flume,安装很简单.

写个helloword测一下,结果发现角色日志看不了. 网上完全找不到资料,有的说log4j包没有,有的说配置配错了,我确认了下都没有问题.

记录下排查步骤

1.这个是qa环境,搭建完flume之后,测试看不到角色日志.

2.在其他节点配置agent测试,也看不到日志,确认不是机器问题.

3.在公司开发环境测试,可以看到日志.

4.比对配置,jar包都一样

5.停掉qa环境flume,命令行启动

 bin/flume-ng agent -n agent_test1 -c conf -f conf/flume-conf.properties.template

6.停掉公司环境flume,命令行启动

7.比较两者差异

差异如下:

由此可见,差异是因为phoenix的jar包和flume/lib下包冲突.

那么公司环境为什么没问题呢?

想到前段时间对hbase下面的phoenix包进行了优化,因为有些包会导致hbase日志不显示.

8.删掉hbase下冲突的jar包

rm -rf /opt/cloudera/parcels/CDH-5.13.1-1.cdh5.13.1.p0.2/lib/hbase/lib/phoenix-4.14.0-cdh5.13.2-client.jar

rm -rf /opt/cloudera/parcels/CDH-5.13.1-1.cdh5.13.1.p0.2/lib/hbase/lib/phoenix-4.14.0-cdh5.13.2-hive.jar

rm -rf /opt/cloudera/parcels/CDH-5.13.1-1.cdh5.13.1.p0.2/lib/hbase/lib/phoenix-4.14.0-cdh5.13.2-pig.jar

rm -rf /opt/cloudera/parcels/CDH-5.13.1-1.cdh5.13.1.p0.2/lib/hbase/lib/phoenix-4.14.0-cdh5.13.2-thin-client.jar

9.再次启动测试

 bin/flume-ng agent -n agent_test1 -c conf -f conf/flume-conf.properties.template

看到没有slfj报错了.

查看目录还是没有日志文件

10.停止cdh上flume,删除/var/log/flume-ng目录,重新执行启动命令还是不行.

11.现在不报错还没有日志. 那只能比对一下qa环境和开发环境的启动打印的所有参数了

开发环境:

 qa环境:

格式化后比对,发下还是hbase lib下面的phoenix文件问题,看了下开发环境hbase下没有phoenix 

153-115=38

正好多了这38个包 

这里说明一下,开发环境也是有phoenix的.可见这些包有没有并不影响phoenix的使用

12. 删除hbase/lib下 phoenix包

sudo rm -rf phoenix-* 

13.测试

 bin/flume-ng agent -n agent_test1 -c conf -f conf/flume-conf.properties.template

总算报点错了

14cdh重新安装flume,启动

所有agent都这样操作

搞完收工

done