实战：定时上传数据至HDFS

实战：定时上传数据至HDFS

hdfs中目录格式为 20211225

实现步骤：
1获取昨天日志文件的名字，提取其中的日期
2在指定目录创建以提取日期命名的文件夹
3上传日志文件到hdfs目录
4支持重跑，补数据的情况
5配置crontab定时任务

注意格式！！！要求非常严格！！！
#！/bin/bash
#1获取昨天日期
#4支持重跑
yesterday=$1
if [ "$yesterday"="" ]
then
    yesterday=`date +'%Y_%m_%d' --date="1 days ago"`
fi
#提取（拼接）日志文件路径信息
dataPath=/log/access_${yesterday}.log

#shell中字符串替换 /代表替换第一个匹配对象 //代表替换全部匹配
hdfsPath=/log/${yesterday//_/}
#2在hdfs上创建指定目录
hdfs dfs -mkdir -p ${hdfsPath}

#3上传文件到hdfs目录
hdfs dfs -put ${dataPath} ${hdfsPath}

5 在 /etc/cron/crontab 下配置定时任务：
0 1 * * * root /data/shell/uploadLogData.sh >> /log/
表示在 每周每个月每天的 1时0分执行 任务