通过shell访问hive_通过shell脚本执行hive语句(批量添加hive分区)

最近临近年关,2018年在向我们招手,但是有好多东西也要处理一番啦,这不马上到2018年,hive分区只建立啦2017年和之前的呢,所以要把hive的2018年的分区建立好,其实hive数据仓库的文件是放在hdfs目录的,hive只是映射的hdfs目录的文件,所以说,首先要创建的是hdfs目录,创建hdfs目录这个简单,就是建立一个文件夹而已,一行语句就可以搞定,并且速度也挺快,一年的数据按天创建目录,创建了快72小时啦还在创建,不过表多,有340张左右,这个暂且不谈,下面所说的内容是建立在hdfs上面的目录已经创建好的基础之上.

以前也创建过hive分区,只不过是一张表的一个月分区,数据量太小,直接写语句就可以创建好,时间长短可以忽略不计;代码如下(部分代码...)

#!/bin/sh

thisyyyy=`date +%Y`

for i in 201702 201703 201704 201705 201706 201707 201708 201709 201710 201711 201712;

do

sql_add_partition="

use papp;

ALTER TABLE ap_wx_high_arpu_dm_m ADD PARTITION (partition_date='$i') LOCATION '/PAPP/ap_wx_high_arpu_dm_m/partition_date=$i';

"

echo "

$sql_add_partition

exit;"| /e3base/hive/bin/hive

done

这是最简单的添加hive分区方法,其实就是映射一下HDFS目录而已.

但是我们都知道,在li