hive-shell批量命令执行脚本

最新推荐文章于 2024-08-25 03:47:41 发布

原创最新推荐文章于 2024-08-25 03:47:41 发布 · 4.3k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#hive #shell #脚本

大数据专栏收录该内容

93 篇文章

订阅专栏

本文介绍了一个使用Hive创建分区表的具体实例，并演示了如何通过Hive SQL语句来创建表、加载数据以及修复表的过程。该过程包括设置Hadoop和Hive的环境变量、执行Hive SQL脚本、将数据文件加载到HDFS中指定位置及使用MSCK命令修复表等步骤。

#!/usr/bin/bash
HADOOP_HOME="/opt/module/cdh-5.3.6-ha/hadoop-2.5.0-cdh5.3.6"
HIVE_HOME='/opt/module/cdh-5.3.6-ha/hive-0.13.1-cdh5.3.6'

####### execute hive ######

sql=$(cat <<!EOF
use db_01;
drop table dept_nopart;
create table IF NOT EXISTS dept_part(
deptno int,
dname string,
loc string
)
partitioned by (day string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';


!EOF)
############  execute begin   ###########
echo $sql
cd $HIVE_HOME
bin/hive -e "$sql"

cd $HADOOP_HOME
bin/hdfs dfs -mkdir -p /hive/warehouse/db_01.db/dept_part/day=20150913 ;
bin/hdfs dfs -put /opt/data/dept.txt /hive/warehouse/db_01.db/dept_part/day=20150913 ;

cd $HIVE_HOME
bin/hive -e "use db_01;msck repair table dept_part;"

exitCode=$?
if [ $exitCode -ne 0 ];then
         echo "[ERROR] hive execute failed!"
         exit $exitCode
fi