Hive 使用动态分区

在实际业务中，我们常常去要将数据根据某一或某几个字段的值插入到不同的分区中。比如我们有一张全量的订单表，我们想让其变为增量表。具体的，我们想根据其开单日期open_date动态插入到新标表table_A中。其中open_date就是table_A的分区。

显然手动使用where条件筛选open_date在插入table_A的对应分区是不现实的。此时使用Hive的动态分区可以实现一次将数据插入到对应的分区中。

设全量表为table_B已经存在，我们使用动态分区的方式插入分区表table_A中。

首先我们建立分区表：

use dmb_dev;
CREATE TABLE table_A
 (
  col_a string comment 'A',
  col_b  string comment 'B', 
  col_c string comment 'C', 
  col_d string comment 'D',
 )
partitioned by(open_date string) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
;

为了使用动态分区，我们必须先开启动态分区功能

set hive.exec.dynamic.partition=true; --默认：false 允许动态分区
set hive.exec.dynamic.partition.mode=nonstrict; 

之后把分区的字段放在select字段的最后一个位置，便可以实现动态分区插入。

insert overwrite table table_A partition(open_date)
select col_a, col_b , col_c , col_a , open_date
from table_B;