记录一下因为没等配置文件上传完就跑lg.sh导致f2.sh没起作用的原因

【背景说明】

我正在做一个数仓采集项目,采集内容分为用户行为日志采集和MySQL的业务数据采集。

用户行为日志采集分为2个阶段:

阶段1:将日志文件的数据通过flume采集到kafka。我的这一步正常,kafka上有数据,即f1.sh是正常的。

阶段2:将kafka上的数据采集到hdfs上,因为我是用application.yml造的数据,每次需要改这个文件中的mock.data这个参数,但我每次改完后。再次用lg.sh生成数据时,发现它没有跑。即f2.sh没有生效。

【原因】

啊,西八,又是个没注意到点小问题。

对了,另外我把f2.sh里面对应的这个flume进程又重启了一遍

先杀死:ssh hadoop102 "ps -ef | grep kafka_to_hdfs_log | grep -v grep |awk '{print \$2}' | xargs -n1 kill"

再启动:[atguigu@hadoop104 flume]$ bin/flume-ng agent -n a1 -c conf/ -f jobs/collectionProject/kafka_to_hdfs_log.conf        

再查看hdfs上的数据生成情况:

成功!

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值