hive hql文档_hive的基本语法汇总（hql）

2019/2/20 星期三

hive的基本语法汇总(hql)

——————————————————————————————————————————————

Hive学习3：Hive三种建表语句详解 https://blog.csdn.net/qq_36743482/article/details/78383964

Hive建表方式共有三种：

1、直接建表法

例如：create table table_name(col_name data_type);

2、查询建表法

例如：通过AS 查询语句完成建表：将子查询的结果存在新表里，有数据，一般用于中间表

3、like建表法

会创建结构完全相同的表，但是没有数据。常用语中间表

//详细解释见链接

Hive文件格式(表STORE AS 的四种类型)：https://blog.csdn.net/hereiskxm/article/details/42171325

hive文件存储格式包括以下几类：

1、TEXTFILE

2、SEQUENCEFILE //序列文件

3、RCFILE

4、ORCFILE(0.11以后出现)

小结

其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；

SEQUENCEFILE，RCFILE，ORCFILE格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中， 然后再从表中用insert导入SequenceFile,RCFile,ORCFile表中。

//详细解释见链接

小结

1、textfile默认格式，数据不做压缩，磁盘开销大，数据解析开销大。

可结合Gzip、Bzip2使用(系统自动检查，执行查询时自动解压)，但使用这种方式，hive不会对数据进行切分，

从而无法对数据进行并行操作。

2、SequenceFile是Hadoop API提供的一种二进制文件支持，其具有使用方便、可分割、可压缩的特点。

SequenceFile支持三种压缩选择：NONE，RECORD，BLOCK。Record压缩率低，一般建议使用BLOCK压缩。

3、RCFILE是一种行列存储相结合的存储方式。首先，其将数据按行分块，保证同一个record在一个块上，避免读一个记录需要读取多个block。其次，块数据列式存储，有利于数据压缩和快速的列存取。

4、ORCFILE()

总结:

相比TEXTFILE和SEQUENCEFILE，RCFILE由于列式存储方式，数据加载时性能消耗较大，但是具有较好的压缩比和查询响应。数据仓库的特点是一次写入、多次读取，因此，整体来看，RCFILE相比其余两种格式具有较明显的优势。

set hive.cli.print.header=true; //hive客户端打印头部

CREATE TABLE page_view(viewTime INT, userid BIGINT,

page_url STRING, referrer_url STRING,

ip STRING COMMENT 'IP Address of the User')

COMMENT 'This is the page view table'

PARTITIONED BY(dt STRING, country STRING) //分区

ROW FORMAT DELIMITED //这句话的意思是，文件里的一行就是我们这个表中的一条记录

FIELDS TERMINATED BY '\001' //我们用'tab'作为分隔符

STORED AS SEQUENCEFILE; //存储为序列文件

//sequencefile

create table tab_ip_seq(id int,name string,ip string,country string)

row format delimited

fields terminated by ','

stored as sequencefile;

//external 外部表

CREATE EXTERNAL TABLE tab_ip_ext(id int, name string,ip STRING,country STRING)

ROW F