Apache Hive DlLPAR

启用hive动态分区

只需在hive会话中设置两个参数

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;

1. 创建动态分区表

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict; 
SET hive.exec.max.dynamic.partitions=100000;
SET hive.exec.max.dynamic.partitions.pernode=100000;
create table a2data.userid_day_rep
(...)
partitioned by
(...) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' Stored AS TEXTFILE;

2. 插入数据

insert into table userid_day_rep  partition (sign_platform)
select 
*
from  user_day;

报错解决方案

[Fatal Error] total number of created files now is 100315, which exceeds 100000. Killing the job

错误原因：

错误原因：
这个错误的原因是因为Hive对创建文件的总数有限制（hive.exec.max.created.files），
默认是100000个，而这个SQL在运行的时候每个Map都会创建76个文件，
对应了每个分区，
所以这个SQL总共会创建2163 * 76 = 164388个文件，运行中肯定会出现上述的异常。
为了能够成功地运行上述的SQL，
最简单的方法就是加大hive.exec.max.created.files参数的设置。
但是这有个问题，这会导致在iteblog中产生大量的小文件，
因为iteblog_tmp表的数据就570多G，
那么平均每个文件的大小=570多G / 164388 = 3.550624133148405MB，
可想而知，十万多个这么小的小文件对Hadoop来说是多么不好。
那么有没有好的办法呢？有！
我们可以将dt相同的数据放到同一个Reduce处理，
这样最多也就产生76个文件，
将dt相同的数据放到同一个Reduce可以使用DISTRIBUTE BY dt实现!!!

修改之后

hive> insert overwrite table test partition(dt)
    > select * from userid_day_rep
    > DISTRIBUTE BY dt;

能不能将570G的数据均匀的分配给Reduce呢？可以！

我们可以使用DISTRIBUTE BY rand()将数据随机分配给Reduce，
这样可以使得每个Reduce处理的数据大体一致。
我设定每个Reduce处理5G的数据，对于570G的数据总共会起110左右的Reduces.
再次修改如下：

set hive.exec.dynamic.partition.mode=nonstrict
hive> set hive.exec.reducers.bytes.per.reducer=5120000000;
hive> insert overwrite table test partition(dt)
    > select * from iteblog_tmp
    > DISTRIBUTE BY rand();