Hive 分区表导入数据与动态分区

为分区导入数据(手动设置分区)

insert overwrite table 表名 partition(分区字段='分区名') 
select
……
from 表名 where 分区字段 = '分区名';

动态分区

Hive默认是 静态分区，我们在插入数据的时候要手动设置分区，如果源数据量很大的时候，那么针对一个分区就要写一个insert，
比如说，有很多我们日志数据，我们要按日期作为分区字段，在插入数据的时候手动去添加分区，那样太麻烦。

因此，Hive提供了动态分区，动态分区简化了我们插入数据时的繁琐操作。

--设置参数动态分区

--开启动态分区
set hive.exec.dynamic.partition=true;  
--这个属性默认是strict，即限制模式，strict是避免全分区字段是动态的，必须至少一个分区字段是指定有值即静态的，且必
--须放在最前面。设置为nonstrict之后所有的分区都可以是动态的了。
set hive.exec.dynamic.partition.mode=nonstrict;
------------------------------------------------------------------------

--表示每个节点生成动态分区的最大个数，默认是100
set hive.exec.max.dynamic.partitions.pernode=10000;  

--表示一个DML操作可以创建的最大动态分区数，默认是1000
set hive.exec.max.dynamic.partitions=100000;

--表示一个DML操作可以创建的最大文件数，默认是100000
set hive.exec.max.created.files=150000;

--将select数据，覆盖到表的动态分区
insert overwrite table table1 partition (ds, hr)  
select key, value, ds, hr FROM table2 WHERE ds is not null;