Hive创建分区表并插入数据_hive中分区插入数据

field_name1 string,
field_name2 string

)
partitioned by (p_field string,pmt string comment ‘年月’)
row format delimited
fields terminated by ‘,’
STORED AS ORC
TBLPROPERTIES(“orc.compress”=“SNAPPY”) //压缩格式，或者使用语句stored as parquet
tblproperties (“skip.header.line.count”=“1”); // 除去首行

## 数据载入


##### 静态分区载入数据

– 1、手动加载数据（会在所选数据库下生成/tableName/2023-10文件夹）
load data local inpath ‘/path/xxxx.csv’ into table tableName partition (pmt=‘2023-10’);

– 2、insert插入数据(增量插入)
insert into tableName partition(p_field=‘aaa’,pmt=‘2023-10’)
select
field_name1,
field_name2
from
tmp_tableName

– 3、insert插入数据(全量插入)
insert overwrite table tableName partition(p_field=‘aaa’,pmt=‘${date}’)
select
field_name1,
field_name2
from
tmp_tableName

##### 动态分区插入数据

– 1、动静分区
– 设置动态分区参数
set hive.exec.dynamic.partition=true; //开启动态分区功能
set hive.exec.dynamic.partition.mode=nonstrick; //默认参数strick也可实现动静分区

insert overwrite table tableName partition(p_field=‘aaa’,pmt)
select
field_name1,
field_name2
from
tmp_tableName

– 2、动态分区
set hive.exec.dynamic.partition=true; //开启动态分区功能
set hive.exec.dynamic.partition.mode=nonstrick;

insert overwrite table tableName partition(p_field,pmt)
select
field_name1,
field_name2
from
tmp_tableName

– 3、相关调优参数
set hive.exec.max.dynamic.partitions.pernode=1000 //每个maper或reducer可以允许创建的最大动态分区个数，默认是100，超出则会报错。
set hive.exec.max.dynamic.partitions =1000 //一个动态分区语句可以创建的最大动态分区个数，超出报错
set hive.exec.max.created.files =10000 //全局可以创建的最大文件个数，超出报错。

## 删除分区

– 删除指定分区
alter table dbname,tableName drop [if exists] partition(pmt=‘2023-11’)
alter table dbname,tableName drop partition(pmt>‘2023-11’)

**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/0845aa912cee88682bbfc11d04fa3a29.png)
![img](https://img-blog.csdnimg.cn/img_convert/b2e4b517c00ebc8a8da5702f6bee8327.png)
![img](https://img-blog.csdnimg.cn/img_convert/3b97a5866d0ff5bc3568dd4e8c73169a.png)
![img](https://img-blog.csdnimg.cn/img_convert/85f16c29f5c3ea54166a918894852319.png)
![img](https://img-blog.csdnimg.cn/img_convert/109237e45585953e6c7c4786d3c4860c.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
![img](https://img-blog.csdnimg.cn/img_convert/a3ed474b19162d69d120e45a1f626838.png)

频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
[外链图片转存中...(img-ipYcebh2-1712846575351)]