HDFS清理Tarsh的脚本

拾八闲客

于 2024-07-25 09:27:37 发布

阅读量39

点赞数

分类专栏：大数据故障文章标签： hdfs hadoop 大数据

本文链接：https://blog.csdn.net/weixin_43566162/article/details/140680617

版权

大数据故障专栏收录该内容

14 篇文章 1 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

#!/bin/bash

# 打印出/user/hive/.Trash/目录下需要删除文件夹的大小
hdfs dfs -du -h /user/hive/.Trash/   > hdfs_count.txt

# 获取 /user/hive/.Trash/ 目录下的内容，过滤掉 Current 文件夹
files_to_delete=$(hdfs dfs -ls /user/hive/.Trash/ | grep -v "Current" | tr -s ' ' | cut -d ' ' -f8)

# 删除除了 Current 以外的文件
for file in $files_to_delete
do
    hdfs dfs -rm -r -skipTrash ${file}
done

echo "Trash已清理完成!"