自动定时清理指定hdfs目录下指定的文件脚本

最新推荐文章于 2022-05-24 18:03:12 发布

吃辣椒的喵

最新推荐文章于 2022-05-24 18:03:12 发布

阅读量1.5k

点赞数

文章标签： hdfs shell bash

本文链接：https://blog.csdn.net/qq_40685200/article/details/121649694

版权

#####################
## 脚本说明：定时清理指定hdfs目录下，当前时间几天前的文件
## 清理时间：请调整 delayDate 变量中 "10" 数字
## 清理路径：请调整 arrlogFile 变量中的值
#####################
#!/bin/bash
export HADOOP_USER_NAME=hdfs #设置操作hdfs代理用户
#======================定义全局变量 begin===========================
#日志保留天数
delayDate=10
#清理日志在hdfs的目录支持多个目录扫描,目录地址以""包含,多个路径以空格隔开.
arrlogFile=("/tmp/hive")
outPath=/tmp/hive/hive
#echo ${arrlogFile[0]}
now=$(date +%s) #获取当前运行时间
#======================定义全局变量 end=============================

#循环迭代配置的扫描目录启动多个线程扫描任务
for ((i=0;i<${#arrlogFile[@]};i++))
do
{
#echo ${arrlogFile[$i]}
#列出hdfs对应目录下的文件路径信息
hadoop fs -ls ${arrlogFile[$i]} | grep "^d" | while read f; do
currentFile=`echo $f| awk '{ print $8 }'`
if [ "$outPath" != "$currentFile" ];then
echo '扫描路径--->'$currentFile
hadoop fs -ls `echo $f| awk '{ print $8 }'`| grep "^d" |while read fc;do
dir_date=`echo $fc | awk '{print $6}'`
#当前时间与文件的时间只差，换算成天
difference=$(( ( $now - $(date -d "$dir_date" +%s) ) / (24 * 60 * 60 ) ))
#计算比较日志保留天数
if [ $difference -gt $delayDate ]; then
#打印待删除的目录信息，
#echo $fc
#删除目录
hadoop fs -rm -r -skipTrash `echo $f| awk '{ print $8 }'`; #此处直接对上边的过滤结果进行删除，建议先改成 hadoop fs -ls -R 命令先进行测试，一切正常在改回删除。
#hadoop fs -ls -R `echo $fc| awk '{ print $8 }'`;
fi
done
fi
done
} &
done
wait
echo "清理结束"