SHELL脚本——删除hdfs上指定位置满足条件的文件（文件大小)

A rctic

已于 2023-04-18 13:18:44 修改

阅读量498

点赞数

文章标签： hdfs hadoop 大数据 ssh

于 2023-04-17 15:01:57 首次发布

本文链接：https://blog.csdn.net/X_P_LI/article/details/130200282

版权

该脚本用于在Hadoop分布式文件系统(HDFS)中查找并删除指定目录下大小小于或等于给定值的空白文件。它首先检查用户是否提供了目录路径和大小参数，然后使用awk过滤满足条件的文件，进行删除操作，并在删除前有倒计时提示。

摘要由CSDN通过智能技术生成

#!/bin/bash
if [ -n "$1" ] ;then
        dir=$1
        if [ -n "$2" ] ;then
                size=$2
        else
                size=0
        fi
        echo "空白文件为："
        hadoop fs -ls -R $dir  | awk '{ if ($5 <= '$size' ) print $8 }'|xargs echo
        echo "准备删除文件，5秒倒计时"
        time=5
        while (($time >= 0 ))
                do
                        sleep 1
                        echo $time
                        time=$(($time-1))
                done
        hadoop fs -ls -R $dir  | awk '{ if ($5 <= '$size') print $8 }' | while read file ;do  hadoop fs -rm "$file";done
        sleep 1
        echo "已经删除"
else
        echo "请输入hdfs上需要删除空白文件的文件夹路径"
        exit;
fi

借鉴博客：
awk 命令快速入门
 自增或者自减