删除hive内部表指定前n天的分区,删除hive外部表指定前n天的分区以及hdfs的数据

#!/bin/sh
#date:2019-01-17
#creator:xxxxxxx
#useto:删除hive内部表指定前n天的分区,删除hive外部表指定前n天的分区以及hdfs的数据（删除数据有两种：一种是根据文件名，一种是根据更新日期）。执行两者的前提为必须以日期为分区
source ~/.bashrc
# 当前时间戳
today_timestamp=$(date -d "$(date +"%Y-%m-%d %H:%M")" +%s)
#删除多少日前的数据和分区，必须为整数
outday=$1
#要删除的最后一天日期 ,通过脚本接受的第一个参数得出
current_date=`date -d "$outday days ago" +%Y-%m-%d` 
#要删除的最后一天日期戳
current_timestamp=$(date -d "$current_date" +%s)
#hive的databases名字
dbname=$2
#将待检测的目录和表名(可以为多个)加载至数组中
OLD_IFS="$IFS" 
IFS="," 
table_array=($3) #多个表名
hdfs_array=($4)  #多个文件路径
IFS="$OLD_IFS" 
#删除hdfs文件的方式,filepath代表根据文件后缀删除,update_day代表根据更新时间删除
way=$5

#范列及提示
example(){

    echo "------------------------------------------------------------------------"
    echo "| 删除内部表分区或只删除外部表分区:                                                          |"
    echo "| sh rmr.sh 30 test t1,t1                                          | "                         
    echo "|----------------------------------------------------------------------|"
    echo "| 删除外部表分区:                                                      |" 
    echo "| sh rmr.sh 30 test t1,t2 /user/hive/t1,/user/hive/t2 filepath    |"
    echo "------------------------------------------------------------------------"
    echo -e "\n\n"
    echo "\$1是要删除hive表距今几天的分区(必传参数)"
    echo "\$2是hive表所在的库名(必传参数)"
    echo "\$3是hive表的名字,传入多个用','分割(必传参数)"
    echo "\$4是hdfs的路径，传入多个用','分割（非必传参数,当hive表为外部分区表时，且要删除数据应当传入）"
    echo "\$5是删除方式,可选项有filepath,update_day。filepath代表根据文件后缀删除,update_day代表根据更新时间删除（必传参数）"
}

#Func: 删除hive表分区操作
rmrtable(){

    echo "use ${dbname};" >./rmrtable_tmp
  for i in ${table_array[@]}
     do
        echo "alter table $i drop partition (day <= '$current_date' );" >>./rmrtable_tmp
     done 

hive -S -f ./rmrtable_tmp
rm -f ./rmrtable_tmp
}


#Func: 删除hdfs文件的实际操作
execute_rmr(){
         hadoop fs -ls $1 > ./rmrhdfs_tmp
        cat ./rmrhdfs_tmp | while read quanxian temp user group size update_day hour filepath

        do
            if [ $way == "update_day" ];then 
                 current_file_time=$update_day
            elif [ $way == "filepath" ];then
                 current_file_time=`basename $filepath | sed 's/day=//g'` #这里有的文件夹并非完全的日期格式，有的带前缀day=
            else 
                 example
            fi 

           

            current_file_timestamp=$(date -d "$current_file_time" +%s)
            if [ $(($today_timestamp-$current_file_timestamp)) -ge $(($outday*24*60*60)) ];then
                echo "$(date +'%Y-%m-%d %H:%M:%S') $filepath"
                 hadoop fs -rm -r $filepath 
                 #> /dev/null 2>&1 
            fi
        done
}

#Func: 执行删除hdfs文件
rmrhdfs(){
        echo -e "\n\n"
        echo "$(date +'%Y-%m-%d %H:%M:%S') start to remove outdate files in hdfs"
        echo "$(date +'%Y-%m-%d %H:%M:%S') today is: $(date +"%Y-%m-%d %H:%M:%S")"

        for i in ${hdfs_array[@]}
        do
            echo "$(date +'%Y-%m-%d %H:%M:%S') processing filepath: $i"
            execute_rmr $i
            echo -e "\n"
        done

        echo "$(date +'%Y-%m-%d %H:%M:%S') remove outdate files in hdfs finished"
        echo -e "\n\n"
        rm -f ./rmrhdfs_tmp
}

#判断要执行哪种方式，是只删除表分区，还是也hive外部分区表的hdfs文件
if [ $# -eq 3 ]; then

   rmrtable
elif [ $# -eq 5 ];then 
   rmrtable
   rmrhdfs
else 
    example   
fi