大数据疑难杂症-使用CDH启flume他有时候监听不到文件夹数据(CDH的一个bug)

1.问题描述:

使用CDH启动flume,flume他有时候监听不到文件夹数据是一个CDH的一个bug

2.解决方案:

(1)杀死flume进程

使用以下命令执行多次杀死flume进程,然后手动启动flume。

[root@node02 ~]ps -ef|grep flume|awk -F ' ' '{print $2}'|xargs kill -9 

(2)手动启动flume

cd /opt/cm-5.14.2/run/cloudera-scm-agent/process
ll 

启动flume命令:

[root@node02 ~]nohup /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/bin/flume-ng  agent --name a1 --conf-file /opt/cm-5.14.2/run/cloudera-scm-agent/process/99-flume-AGENT/flume.conf &

注意:99-flume-AGENT,CHD每修改一次就会产生一个新的flume-AGENT文件,编号会递增一次,我们要找到最新的进行启动

(3)制作shell脚本

将上述命令放到一个shell脚本里面,加入到linux定时器当中去,定时的去杀死flume在启动flume进程
linux定时器