hive中hql的shell常规操作命令

hive执行hql的命令方式主要有三种，分别是通过直连操作执行、将hql以参数的形式进行操作以及将hql封装到文本中进行执行。

目录

         一.直连方式执行

二.以参数的形式执行

三. 封装到文件中进行执行

---

一.直连方式执行

键入“hive”，启动hive的cli交互模式。Set可以查看所有环境设置参数，并可以重设。其他命令如，
    Use database        选择库
    quit/exit   退出Hive的交互模式 
    set –v  显示Hive中的所有变量
    set <key>=<value>       设置参数
    执行本地shell ：!<cmd>       交互模式下可执行shell命令，例如（查看linux根目录下文件列表："!ls -l /;"）
    操作云命令：dfs < command>        交互模式下直接操作hadoop命令如 dfs fs –ls
    Hql语句       执行查询并输出到标准输出
    add [FILE|JAR|ARCHIVE] <value> [<value>]*       增加一个文件到资源列表
    list FILE       列出所有已经添加的资源
 

二.以参数的形式执行

Hql作为字符串在shell脚本中执行，如：

hive -e "use ${database};select * from tb"

 查询结果可以直接导出到本地本件（默认分隔符为\t）:

hive -e "select * from tb" > tb.txt

另外，在shell中定义字符串有两种方式，分别为：

a) 直接定义。  hql="this is a hql!"

b)通过命令定义： sql=$(cat << endtag 字符串endtag)方式可以降字符串复制给sql，执行hql的命令shell如下：

####### execute hive ######
sql=$(cat <<!EOF

USE pmp;
set mapred.queue.names=queue3;

drop table if exists people_targeted_delivery;
create table people_targeted_delivery
( special_tag_id int,
  cnt bigint
);

INSERT OVERWRITE LOCAL DIRECTORY '$cur_path/people_targeted_delivery'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 
select special_tag_id,count(1) 
from t_pmp_special_user_tags
group by special_tag_id;

!EOF)
############  execute begin   ###########
echo $sql
$HIVE_HOME/bin/hive -e "$sql"

exitCode=$?
if [ $exitCode -ne 0 ];then
         echo "[ERROR] hive execute failed!"
         exit $exitCode
fi

三. 封装到文件中进行执行

将hql语句保存为独立文件，后缀名不限制，可以用.q或者.hql作为标识： A，这个文件在cli模式下，用source命令执行，如：source ./mytest.hql B，在shell中执行命令，如：hive -f mytest.sql

Hive指定预执行文件命令"hive -i"（或叫初始化文件）

命令：hive -i hive-script.sql
在hive启动cli之前，先执行指定文件（hive-script.sql）中的命令。
也就是说，允许用户在cli启动时预先执行一个指定文件，比如，有一些常用的环境参数设置，频繁执行的命令，可以添加在初始化文件中，比如，
    某些参数设置
        set mapred.queue.names=queue3;
        SET mapred.reduce.tasks=14;
    添加udf文件
        add JAR ./playdata-hive-udf.jar;
    设置Hive的日志级别 
        hive -hiveconf hive.root.logger=INFO;

原文链接