HIVE beeline使用shell 批量执行sql语句

weifengLD

于 2017-08-24 11:56:35 发布

阅读量3w

点赞数 1

分类专栏：大数据

本文链接：https://blog.csdn.net/u013385925/article/details/77528411

版权

大数据专栏收录该内容

57 篇文章

订阅专栏

本文介绍了一个使用Shell脚本来执行Hive SQL的具体案例。该脚本通过调用Beeline客户端，向Hive服务器发送SQL命令，实现对特定日期范围内用户唯一标识（UV）数据的统计和插入操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

shell脚本如图所示：

principal：代表的是认证方式

#!/bin/sh

#--------------------------------------------
#Date:
#Author:
#------------------------------------------------


################################################
. /etc/profile
. ~/.bash_profile

################################################

sql14_pc="
insert into table uv_daybyday_bylimin 
select 20170814,count(t.uv),'pctotal' from (select uv from UV_TOTAL_DAY_BYLIMIN where dt between 20170813 and 20170814 group by uv) t;
"
sql15_pc="
insert into table uv_daybyday_bylimin 
select 20170815,count(t.uv),'pctotal' from (select uv from UV_TOTAL_DAY_BYLIMIN where dt between 20170813 and 20170815 group by uv) t;
"

#调用hive, 执行上面的sql
/usr/lib/hive/bin/beeline -u "jdbc:hive2://10.10.10.10:10000/bd_warehouse;principal=bd-warehouse" --hiveconf mapreduce.job.queuename=datacenter  -e "${sql14_pc}" -e "${sql15_pc}"