批量清理hive的分区数据，从指定的文件获取相关的参数

最新推荐文章于 2023-04-29 14:27:17 发布

shangzhi_quan

最新推荐文章于 2023-04-29 14:27:17 发布

阅读量1k

点赞数 1

分类专栏： hive 文章标签： hive shell

本文链接：https://blog.csdn.net/qq_36041534/article/details/80233257

版权

本文介绍了如何使用Shell脚本`delete_partitions.sh`结合配置文件`table_config_order`来批量清理Hive分区数据。脚本满足了保留最近N天数据、月末删除本月除最后一天外的所有分区以及删除特定时间段分区的需求。

摘要由CSDN通过智能技术生成

1.文件：table_config_order 内容如下

test.tb_test_basic work_date 1,2 3 2018-04-25

--- scheam.table 时间分区字段每天都跑的处理方式保留最近3天数据时间分区存在起始时间

2.文件：delete_partitions.sh 内容如下

#!/bin/bash

#每天跑一次，和月末跑一次的程序可用crontab 定时计划执行
#检查分区是否存在
function check_partition(){
#table,dt
temp=`hive -e "show partitions $1"`
echo $temp|grep -wq "$2"
if [ $? -eq 0 ];then
echo "ok"
return 0
else
return 1
fi
}
##table dt 开始时间结束时间
function date0(){
if [ $# == 4 ]; then
begin_date=`date -d "+0 day $3" +%Y-%m-%d`
end_date=`date -d "+0 day $4" +%Y-%m-%d`
date=${end_date}
sql=''
while [[ "${date}" > "${begin_date}" || "${date}" = "${begin_date}" ]]
do
sql=${sql}"ALTER TABLE $1 DROP IF EXISTS PARTITION($2 = '$date');"
date=`date -d "$dat