二百二十七、Linux——通过shell脚本判断HDFS文件是否存在，如果存在则删除HDFS文件

一、目的

在用脚本去实现对HDFS中过期的ODS层原始数据进行删除后，发现还需要在脚本中对HDFS文件是否存在进行判断，否则如果HDFS文件不存在那么任务执行就会报错

报错原因是这一天的HDFS文件并不存在

原有脚本

#! /bin/bash
source /etc/profile

nowdate=`date --date='0 days ago' "+%Y%m%d"`
day_30_ago_date=`date -d "30 day ago " +%Y-%m-%d`

hdfs dfs -rm -r /user/hive/warehouse/hurys_dc_ods.db/ods_event/day=${day_30_ago_date}

二、判断Linux中文件是否存在的shell命令（未亲测过）

if [ ! -f "$file" ];then

   echo "文件不存在"

fi

三、Hadoop相关的文件命令

hadoop fs -test 

-d 判断<path>是否是目录

-e 判断<path>是否存在

-f 判断<path>是否是个文件

-s 判断内容是否大于0bytes ，大于0为真

-z 判断内容是否等于0bytes，为0真

四、shell脚本判断HDFS文件是否存在，如果存在则删除

新脚本

#! /bin/bash
source /etc/profile

nowdate=`date --date='0 days ago' "+%Y%m%d"`
day_30_ago_date=`date -d "30 day ago " +%Y-%m-%d`

hadoop fs -test -e /user/hive/warehouse/hurys_dc_ods.db/ods_event/day=${day_30_ago_date}
if [ $? -ne 0 ]; then
    echo "文件不存在"
else 
    hdfs dfs -rm -r /user/hive/warehouse/hurys_dc_ods.db/ods_event/day=${day_30_ago_date}
fi

注意：

1、今天是2024年3月5日，所以30天前的文件日期是2024-02-04

2、hadoop fs -test -e 用于判断HDFS目录/文件是否存在，下一步检测该命令的返回值，以确定其判断结果

（一）情况一：2024-02-04的文件不存在

脚本运行结果：文件不存在

（二）情况二：2024-02-04的文件存在

脚本运行结果：Deleted /user/hive/warehouse/hurys_dc_ods.db/ods_event/day=2024-02-04

day=2024-02-04的文件已删除

成功实现用shell脚本对HDFS文件是否存在进行判断，如果文件存在则删除的目的！

不过，最好在脚本里添加，对这一天ODS层表的分区进行删除，因为ODS层是外部分区表。删除HDFS文件，但ODS层的这一天分区依然存在，只是删除文件后这一天分区没有数据

最终脚本

#! /bin/bash
source /etc/profile

nowdate=`date --date='0 days ago' "+%Y%m%d"`
day_30_ago_date=`date -d "30 day ago " +%Y-%m-%d`

hadoop fs -test -e /user/hive/warehouse/hurys_dc_ods.db/ods_event/day=${day_30_ago_date}
if [ $? -ne 0 ]; then
    echo "文件不存在"
else 
    hdfs dfs -rm -r /user/hive/warehouse/hurys_dc_ods.db/ods_event/day=${day_30_ago_date}
fi

hive -e "
use hurys_dc_ods;

alter table hurys_dc_ods.ods_event drop partition (day='$day_30_ago_date')

"