讲项目中产生的日志自动上传到HDFS上

说明：

项目产生日志存放的路径==> /root/luheng/

HDFS上保存日志的路径==> /fengqing/logs/

在/root/luheng目录下新建一个upload.sh文件，其内容如下

#!/bin/bash

src_dir=/root/luheng/
dst_dir=/fengqing/logs/
ls $src_dir | while read fileName
do
        if [[ "$fileName" == access.log.* ]]; then
        echo $src_dir$fileName $dst_dir`hostname`_$fileName
        /root/app/hadoop-2.6.0-cdh5.7.0/bin/hadoop fs -put $src_dir$fileName $dst_dir`hostname`_$fileName
        fi
done

安装crontab

yum install vixie-cron crontabs

用crontab进行调度

执行命令 crontab -e, 然后讲下面内容加入其中

44 * * * * /root/luheng/upload.sh

crontab测试工具的地址：https://tool.lu/crontab