hive执行参数
命令行直接执行HQL
hive -e "select *from dw.ol_oitf_interface_auc_dimension_business limit 10"
执行HQL文件中的语句
hive -f emp.hql
hive -f /home/my/hive-script.sql
'''
Example of running an initialization script before entering interactive mode
在进入交互模式之前运行初始化脚本的例子
'''
HIVE_HOME/bin/hive -i /home/my/hive-init.sql
打开调试模式
hive --hiveconf hive.root.logger=DEBUG,console
数据导出&导入
从本地文件系统中导入数据到Hive表
load data local inpath 'xiong.txt' into table xiong;
本地文件系统里面有xiong.txt文件,内容如下:
ww:workSpace$ cat xiong.txt
1 xiong 25 13188888888888
2 test 30 13888888888888
3 zs 34 899314121xiong.txt
文件中的数据列之间是使用\t分割的,可以通过下面的语句将这个文件里面的数据导入到xiong表里面,操作如下:
将xiong.txt里面的内容导入到xiong表里面去了,可以到xiong表的数据目录下查看,如下命令
HDFS上导入数据到Hive表
从本地文件系统中将数据导入到Hive表的过程中,其实是先将数据临时复制到HDFS的一个目录下(典型的情况是复制到上传用户的HDFS home目录下,比如/home/xiong/),然后再将数据从那个临时目录下移动(注意,这里说的是移动,不是复制!)到对应的Hive表的数据目录里面。既然如此,那么Hive肯定支持将数据直接从HDFS上的一个目录移动到相应Hive表的数据目录下,假设有下面这个文件/home/xiong/add.txt,具体的操作如下:
[xiong@master /home/q/hadoop-2.2.0]$ bin/hadoop fs -cat /home/xiong/add.txt
5 xiong1 23 131212121212
6 xiong2 24 134535353535
7 xiong3 25 132453535353
8 xiong4 26 154243434355
上面是需要插入数据的内容,这个文件是存放在HDFS上/home/xiong目录(和一中提到的不同,一中提到的文件是存放在本地文件系统上)里面,
我们可以通过下面的命令将这个文件里面的内容导入到Hive表中,具体操作如下:
hive> load data inpath '/home/xiong/add.txt' into table xiong;
Loading data to table default.xiong
Table default.xiong stats:
[num_partitions: 0, num_files: 2, num_rows: 0, total_size: 215]
OK
Time taken: 0.47 seconds
hive> select * from xiong;
OK
xiong1 23 131212121212
xiong2 24 134535353535
xiong3 25 132453535353
xiong4 26 154243434355
xiong 25 13188888888888
test 30 13888888888888
zs 34 899314121
Time taken: 0.096 seconds, Fetched: 7 row(s)
从上面的执行结果我们可以看到,数据的确导入到xiong表中了!请注意load data inpath ‘/home/xiong/add.txt’ into table xiong;里面是没有local这个单词的,这个是和一中的区别。
导出数据到本地
hive命令执行
insert overwrite local directory '/home/wangkai8/workSpace/test'
row format delimited fields terminated by '\t' select *from
dw.ol_oitf_interface_auc_dimension_business limit 10;
如果不指定row format delimited fields terminated by ‘\t’,字段间默认没有分割符
命令行直接执行HQL语句导出文件到本地
hive -e "select *from dw.ol_oitf_interface_auc_dimension_business limit 10" >> emp_export.txt
导出到HDFS
insert overwrite local directory 'hdfs://hadoopcluster/user/wangkai8/warehouse/xiong' ROW format delimited fields terminated by '\t'
select *from ol_power_line_saler_organization_dim where dt ='20180808' limit 10;
一个源可以同时插入到多个目标表或目标文件,多目标insert可以用一句话来完成
FROM src
INSERT OVERWRITE TABLE dest1 SELECT src.* WHERE src.key < 100
INSERT OVERWRITE TABLE dest2 SELECT src.key, src.value WHERE src.key >= 100 and src.key < 200
INSERT OVERWRITE TABLE dest3 PARTITION(ds='2008-04-08', hr='12') SELECT src.key WHERE src.key >= 200 and src.key < 300
INSERT OVERWRITE LOCAL DIRECTORY '/tmp/dest4.out' SELECT src.value WHERE src.key >= 300;
Eg:
from xi
insert overwrite table test2 select '1,2,3' limit 1
insert overwrite table d select '4,5,6' limit 1;
Hive交互式Shell命令
Command | Description |
---|---|
qui Or exit | 退出命令 |
!< cmd > | 在hive shell中执行shell命令 |
dfs < dfs command > | 在hive shell中执行dfs命令命令 |
add FILE < value > < value > * | 将一个文件添加到资源列表中 |
eg:
hive> !ls;
hive> dfs -ls;
hive> add FILE /tmp/tt.py;
hive> list FILES;
调用python、shell等语言