hive动态分区

实验目的
1. 验证对分区表进行动态分区插入功能
2. 验证是否可以使用load进行动态分区插入

实验步骤
1. 在本地文件/home/grid/a.txt中写入以下4行数据：
aaa,US,CA
aaa,US,CB
bbb,CA,BB
bbb,CA,BC

2. 建立非分区表并加载数据

[sql]  view plain  copy

1. CREATE TABLE t1 (name STRING, cty STRING, st STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';  
2. LOAD DATA LOCAL INPATH '/home/grid/a.txt' INTO TABLE t1;    
3. SELECT * FROM t1;    
4. dfs -ls /user/hive/warehouse/test.db/t1;   

执行命令及结果如图1所示。

图1

3. 建立外部分区表并动态加载数据

[sql]  view plain  copy

1. CREATE EXTERNAL TABLE t2 (name STRING) PARTITIONED BY (country STRING, state STRING);    
2.   
3. set hive.exec.dynamic.partition=true;  
4. set hive.exec.dynamic.partition.mode=nonstrict;  
5. set hive.exec.max.dynamic.partitions.pernode=1000;  
6. INSERT INTO TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;  
7. INSERT INTO TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;  
8.   
9. SELECT * FROM t2;    
10. dfs -ls /user/hive/warehouse/test.db/t2/;   

执行命令及结果如图2所示。

图2

可以看到，向内部分区表中加载了8条数据，动态建立了目录。

4. 编辑a.txt，使其有以下4行数据，然后在执行下面的命令。
aaa,US,CD
aaa,US,CE
ccc,CB,BB
ccc,CB,BC

[sql]  view plain  copy

1. LOAD DATA LOCAL INPATH '/home/grid/a.txt' OVERWRITE INTO TABLE t1;  
2. INSERT OVERWRITE TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;  
3. SELECT * FROM t2;    
4. dfs -ls /user/hive/warehouse/test.db/t2/;   
5. dfs -ls /user/hive/warehouse/test.db/t2/country=US;  

执行命令及结果如图3所示。

图3

可以看到，现在表中有12条数据，OVERWRITE并没有覆盖原来的分区，而是追加了4条数据，并且动态建立了新的分区目录。
再次执行一次下面的命令：

[sql]  view plain  copy

1. INSERT OVERWRITE TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;  
2. SELECT * FROM t2;    
3. dfs -ls /user/hive/warehouse/test.db/t2/;   
4. dfs -ls /user/hive/warehouse/test.db/t2/country=US;  

执行命令及结果如图4所示。

图4

可以看到，现在表中还是12条数据，分区目录也没有变化。

在动态分区插入上，内外部分区表的行为相同，实验从略。

5. 使用LOAD做动态分区插入

[sql]  view plain  copy

1. LOAD DATA LOCAL INPATH '/home/grid/a.txt' INTO TABLE t2 PARTITION (country, state);  

执行命令及结果如图5所示。

图5

可以看到，load命令不支持动态分区插入。

总结：
1. OVERWRITE不会删除已有的分区目录，只会追加新的分区，并覆盖已有分区的非分区数据。
2. 不能使用load进行动态分区插入