大数据最全Hive创建分区表并插入数据_hive中分区插入数据，2024年最新感悟分享

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

field_name2 string

)
partitioned by (p_field string,pmt string comment ‘年月’)
row format delimited
fields terminated by ‘,’
STORED AS ORC
TBLPROPERTIES(“orc.compress”=“SNAPPY”) //压缩格式，或者使用语句stored as parquet
tblproperties (“skip.header.line.count”=“1”); // 除去首行

## 数据载入


##### 静态分区载入数据

– 1、手动加载数据（会在所选数据库下生成/tableName/2023-10文件夹）
load data local inpath ‘/path/xxxx.csv’ into table tableName partition (pmt=‘2023-10’);

– 2、insert插入数据(增量插入)
insert into tableName partition(p_field=‘aaa’,pmt=‘2023-10’)
select
field_name1,
field_name2
from
tmp_tableName

– 3、insert插入数据(全量插入)
insert overwrite table tableName partition(p_field=‘aaa’,pmt=‘${date}’)
select
field_name1,
field_name2
from
tmp_tableName

##### 动态分区插入数据

– 1、动静分区
– 设置动态分区参数
set hive.exec.dynamic.partition=true; //开启动态分区功能
set hive.exec.dynamic.partition.mode=nonstrick; //默认参数strick也可实现动静分区

insert overwrite table tableName partition(p_field=‘aaa’,pmt)
select
field_name1,
field_name2
from
tmp_tableName

– 2、动态分区
set hive.exec.dynamic.partition=true; //开启动态分区功能
set hive.exec.dynamic.partition.mode=nonstrick;

insert overwrite table tableName partition(p_field,pmt)
select
field_name1,
field_name2
from
tmp_tableName

– 3、相关调优参数
set hive.exec.max.dynamic.partitions.pernode=1000 //每个maper或reducer可以允许创建的最大动态分区个数，默认是100，超出则会报错。
set hive.exec.max.dynamic.partitions =1000 //一个动态分区语句可以创建的最大动态分区个数，超出报错
set hive.exec.max.created.files =10000 //全局可以创建的最大文件个数，超出报错。

![img](https://img-blog.csdnimg.cn/img_convert/8628a62673a745fcab8b28f524dde55f.png)
![img](https://img-blog.csdnimg.cn/img_convert/1b236703a722bb1af95caaf99a6862b0.png)
![img](https://img-blog.csdnimg.cn/img_convert/5c3eff16588ebfd19bc1c7298e51f7fb.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**