hadoop fs -ls /user/zhang 查看hdfs上的文件,awk $6是日期, $8是文件路径
#shell脚本
data=$(hadoop fs -ls /user/zhang/data | awk '{print $8}')
data_arr=(${data// / })
for sub_file in ${data_arr[@]}
do
old_files=$(hadoop fs -ls $sub_file | awk 'BEGIN{ twenty_days_ago=strftime("%F", systime()-20*24*3600) }{ if($6<twenty_days_ago){printf "%s\n", $8} }'
)
arr=(${old_files// / })
for oldfile in ${arr[@]}
do
hadoop dfs -rm -r $oldfile
done
done
#如是集群
把hadoop替换为hadoop --cluster z-hadoop
z-hadoop是我的集群的名字
systime() 系统当前日期的秒数
strftime 返回的是2020-06-30
24*3600 一天的秒数