说明:
项目产生日志存放的路径==> /root/luheng/
HDFS上保存日志的路径==> /fengqing/logs/
在/root/luheng目录下新建一个upload.sh文件,其内容如下
#!/bin/bash
src_dir=/root/luheng/
dst_dir=/fengqing/logs/
ls $src_dir | while read fileName
do
if [[ "$fileName" == access.log.* ]]; then
echo $src_dir$fileName $dst_dir`hostname`_$fileName
/root/app/hadoop-2.6.0-cdh5.7.0/bin/hadoop fs -put $src_dir$fileName $dst_dir`hostname`_$fileName
fi
done
安装crontab
yum install vixie-cron crontabs
用crontab进行调度
执行命令 crontab -e, 然后讲下面内容加入其中
44 * * * * /root/luheng/upload.sh
crontab测试工具的地址:https://tool.lu/crontab