Linux 脚本 hive脚本

最新推荐文章于 2023-04-30 11:53:35 发布

丶大白菜

最新推荐文章于 2023-04-30 11:53:35 发布

阅读量433

点赞数 1

分类专栏： hive window linux 文章标签： hive linux hadoop

本文链接：https://blog.csdn.net/dbc_zt/article/details/82350022

版权

原因: hive导入hdfs按天文件夹,按小时文件的数据, 历史数据(天数)较多, 手动添加分区, 工作量大,改用脚本

编写脚本: notepad++(工具)

------------------------------------------------------------------------------ 以下脚本 ---------------------------------------------------------------------------

#!/bin/bash
date_list='20170913 20170914 ...(日期列表,数量太多,原数据中间有缺, 日期间为空格分隔) ....20180606';

hive -e "create external table if not exists safe.imcs_data(imcs string) partitioned by (static_time string) row format delimited;"

for date in $date_list
do
   echo "start to hive partition"
   hive -e "alter table safe.imcs_data add partition (static_time = '$date') location '/user/safe/data/imcs_pic_info_hdfs/$date';"
   echo "hive partition finished"
done

---------------------------------------------------------------------------------以上脚本-------------------------