hive学习(七)------创建动态分区

当分区列的值不统一，样式很多时，静态分区实现很麻烦，所以使用动态分区。
数据格式：
1,小明1,12,man,reading-basketball-football,shanghai:pudong-hubei:wuhan
2,小明2,13,man,reading-basketball-football,shanghai:pudong-hubei:wuhan
3,小明3,12,girl,reading-basketball-football,shanghai:pudong-hubei:wuhan
4,小明4,12,man,reading-basketball-football,shanghai:pudong-hubei:wuhan
5,小明5,13,girl,reading-basketball-football,shanghai:pudong-hubei:wuhan
6,小明6,12,man,reading-basketball-football,shanghai:pudong-hubei:wuhan
7,小明7,12,girl,reading-basketball-football,shanghai:pudong-hubei:wuhan
8,小明8,13,man,reading-basketball-football,shanghai:pudong-hubei:wuhan
9,小明9,13,man,reading-basketball-football,shanghai:pudong-hubei:wuhan

按照年龄和性别进行动态分区。

实现过程：

//创建原始数据表
create table student
(
id int,
name string,
age int,
gender string,
likes array<string>,
address map<string,string>
)
row format delimited
fields terminated by ','
collection items terminated by '-'
map keys terminated by ':';

set hive.exec.dynamic.partition=true;    
set hive.exec.dynamic.partition.mode=nonstrict;

//创建分区表
create table student1
(
id int,
name string,
likes array<string>,
address map<string,string>
)
partitioned by (age int,gender string) 
row format delimited
fields terminated by ','
collection items terminated by '-'
map keys terminated by ':';

//插入数据到分区表
insert into table student1 partition(age,gender)
select id,name,likes,address,age,gender from student;

注意
1.创建分区表之前必须设置以下这俩参数。
set hive.exec.dynamic.partition=true;（开启动态分区，默认为true）
set hive.exec.dynamic.partition.mode=nonstrict;（动态分区模式，默认为strict：必须有一列为静态分区）
2.注意插入数据的语句格式，注意各字段的位置。

其他调优参数配置：
set hive.exec.max.dynamic.partitions.pernode=100 （默认100，一般可以设置大一点，比如1000）

表示每个maper或reducer可以允许创建的最大动态分区个数，默认是100，超出则会报错。

set hive.exec.max.dynamic.partitions =1000(默认值)

表示一个动态分区语句可以创建的最大动态分区个数，超出报错

set hive.exec.max.created.files =10000(默认) 全局可以创建的最大文件个数，超出报错。

结果展示：