Hive 使用

Hive使用主要分为以下几个步骤：

1. 建立表
2. 导入数据
3. SQL查询
   

开始正文前先考虑几个问题：

1. Hive不支持insert 语句向表中单条导入数据，那么建立的空表怎么和集群中的数据关联起来呢？
2. 怎么理解数据库中的表和集群中数据的关联？
3. Hive是做的其实是一种翻译工作，将mapreduce程序翻译成SQL语言。那么执行SQL查询语句时，SQL会被翻译成mapreduce来执行吗？
   

Hive建表

Hive在建表的时候就规定了表格和数据怎么关联，包括表格有哪些字段，每个字段对应数据的哪一列，集群中数据的列怎么划分等等，建表的方式有三种。

1.创建普通表

建表语句为：

hive> create table test(name string, age int,jiguan string)
    > row format delimited        --指定数据的一行为表中的一个行
    > fields terminated by '\t';  --指定属性是以“tab”键分割

2.创建外部表

建表语句为：

hive> create external table ext(name string, age int,jiguan string)
    > row format delimited                                         
    > fields terminated by '\t'                                    
    > location '/hivedata';      --指定表关联的外部数据路径，创建外部表不需要再手动load导入数据

3.创建分区表

建表语句为：

hive> create table par(name string, age int,jiguan string)
    > partitioned by (month string)            --指定分区属性（这里按照出生月份分区），可以是表列名，也可以不是           
    > row format delimited                                
    > fields terminated by '\t';   

表建立完成后打开元数据库可以查看到所建表的元数据信息（包含多张表，这里仅给出两个），由于元数据库使用的是MySQL，这里使用Navicat for MySQL进行查看。

TBLS表信息为：

可以看到使用上述三条建表语句所创建的表名，以及表类型。普通表和分区表为manage类型，外部表为external类型。

SDS表信息：

可以看到不同表所包含的数据在集群中存储位置不同（SDS表和TBLS表通过SD_ID关联），普通表和分区表的数据是存储在warehouse目录下，而外部表的数据是存储在建表时指定的目录。

Hive向表中导入数据

1. 从本地导入数据

普通表和分区表建立完成后还是一张空表，需要向表中导入一些数据，这样才能使用。首先在本地（这里的本地是指安装有Hive软件的机器）建立一份数据文件data1，假设内容为：

zhangsan	18	henan
lisi	17	hebei
wanger	28	hunan
mazi	38	hubei
lida	28	jiangxi
wangfei	18	yunnan
jinling	16	guangxi
maofeng	18	jiangsu

向普通表导入数据语句：

hive> load data local inpath '/home/hadoop/hivedata/data1' into table test;

local表示数据在本地而不是在集群。执行效果其实是将这一份数据copy到了集群中的数据仓库下：

外部表不需要再导入数据（一般建表时指定的目录下已经包含了需要处理的数据）。

向分区表导入数据（cluster）:

load data local inpath '/home/hadoop/hivedata/cluster' into table par partition(month='boy');

可以看出分区机制其实是通过在表路径下创建子目录来实现的，假如有多个分区将会有多个子目录在表的根目录下面。

2.从集群中导入数据

首先在集群中上传一份数据cluster，数据内容为：

zhangsan-       18      henan
lisi-   17      hebei
wanger- 28      hunan
mazi-   38      hubei
lida-   28      jiangxi
wangfei-        18      yunnan
jinling-        16      guangxi
maofeng-        18      jiangsu

向普通表中导入数据：

hive> load data inpath '/hivedata/cluster' into table test;  --不指定local

向分区表中导入数据：

load data  inpath '/hivedata/cluster' into table par partition(month='01'); 

从集群中向普通表或者分区表中导入数据，成功后会发现，集群中的数据cluster不见了，被 剪切到了集群中的数据仓库下。这样就有问题了，很多时候我们不希望数据被剪切。要满足这个要求需要建一张外部表，外部表可以对集群中任意位置的数据进行处理（在建表的时候指定这个位置就可以），而数据不会丢失（即便外部表被drop数据仍然存在）。

HQL查询

查询一（查看表信息）：

查询二（统计表信息）：

可见，HQL通过Hive翻译成了mapreduce程序，然后提交到了集群执行。

查询三（将查询结果到处为文件）：

导出到本地：

insert overwrite local directory '/home/hadoop/hivedata/result' select * from par where month='01'; 

结果如上图，cat指令视觉上看不出空格，，vi还好。

导出到hdfs：

hive> insert overwrite directory '/result' select * from par where month='01';  

（总结不当之处，敬请指正）