将hdfs文件加载到hive分区表

最新推荐文章于 2024-08-01 04:33:18 发布

lislie_

最新推荐文章于 2024-08-01 04:33:18 发布

阅读量5.6k

点赞数 2

分类专栏：数据仓库

本文链接：https://blog.csdn.net/lislie_/article/details/86310740

版权

数据仓库专栏收录该内容

4 篇文章 0 订阅

订阅专栏

shell脚本如下：
如果目标表有分区，先清除分区

alter table table_name drop partition (dt >= ‘20181211’);

#!/bin/bash
cu_date=`date +%Y%m%d`
begin_date="20181211"

while [ "$begin_date" -le "$cu_date" ];
do
	echo "${begin_date}"
	
	hive -e "alter table table_name add partition (dt='${begin_date}') 
	locatition 'hdfs://Cluster/user/hive/warehouse/.../dt=${begin_date}'; "
	
	begin_date=$(date -d "${begin_date}+1days" +%Y%m%d)
done
echo "finished"