Hadoop运维-删除目录下过期的数据

最新推荐文章于 2025-10-04 21:51:37 发布

原创最新推荐文章于 2025-10-04 21:51:37 发布 · 3.8k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

HDFS 专栏收录该内容

7 篇文章

订阅专栏

本文介绍了一个使用bash脚本来清理Hadoop文件系统的示例。该脚本会检查指定路径下的文件，并删除超过一天未被修改的文件。通过运行此脚本可以实现定期清理不再需要的日志或临时文件。

#/bin/bash


today=`date +%Y%m%d`
std_today="${today:0:4}-${today:4:2}-${today:6:2} 00:00:00"
today_timestamp=`date -d "${std_today}" +%s` 
echo $today_timestamp


hadoop fs -ls $1 >file


cat file|while  read quanxian temp user group size day hour  filepath
do
current_file_timestamp=`date -d "${day} 00:00:00" +%s`
if [ $(($today_timestamp-$current_file_timestamp)) -ge $((3600*24*1)) ] ; then
logsize=`hadoop fs -dus -h $filepath 2>/dev/null`
echo  "$logsize  ${day} ${hour}"
hadoop fs -rmr $filepath >/dev/null 2>&1 &
fi
done