大数据最全Hive创建分区表并插入数据_hive中分区插入数据,2024年最新感悟分享

img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

需要这份系统化资料的朋友,可以戳这里获取

field_name2 string

)
partitioned by (p_field string,pmt string comment ‘年月’)
row format delimited
fields terminated by ‘,’
STORED AS ORC
TBLPROPERTIES(“orc.compress”=“SNAPPY”) //压缩格式,或者使用语句stored as parquet
tblproperties (“skip.header.line.count”=“1”); // 除去首行


## 数据载入


##### 静态分区载入数据



– 1、手动加载数据(会在所选数据库下生成/tableName/2023-10文件夹)
load data local inpath ‘/path/xxxx.csv’ into table tableName partition (pmt=‘2023-10’);

– 2、insert插入数据(增量插入)
insert into tableName partition(p_field=‘aaa’,pmt=‘2023-10’)
select
field_name1,
field_name2
from
tmp_tableName

– 3、insert插入数据(全量插入)
insert overwrite table tableName partition(p_field=‘aaa’,pmt=‘${date}’)
select
field_name1,
field_name2
from
tmp_tableName


##### 动态分区插入数据



– 1、动静分区
– 设置动态分区参数
set hive.exec.dynamic.partition=true; //开启动态分区功能
set hive.exec.dynamic.partition.mode=nonstrick; //默认参数strick也可实现动静分区

insert overwrite table tableName partition(p_field=‘aaa’,pmt)
select
field_name1,
field_name2
from
tmp_tableName

– 2、动态分区
set hive.exec.dynamic.partition=true; //开启动态分区功能
set hive.exec.dynamic.partition.mode=nonstrick;

insert overwrite table tableName partition(p_field,pmt)
select
field_name1,
field_name2
from
tmp_tableName

– 3、相关调优参数
set hive.exec.max.dynamic.partitions.pernode=1000 //每个maper或reducer可以允许创建的最大动态分区个数,默认是100,超出则会报错。
set hive.exec.max.dynamic.partitions =1000 //一个动态分区语句可以创建的最大动态分区个数,超出报错
set hive.exec.max.created.files =10000 //全局可以创建的最大文件个数,超出报错。




![img](https://img-blog.csdnimg.cn/img_convert/8628a62673a745fcab8b28f524dde55f.png)
![img](https://img-blog.csdnimg.cn/img_convert/1b236703a722bb1af95caaf99a6862b0.png)
![img](https://img-blog.csdnimg.cn/img_convert/5c3eff16588ebfd19bc1c7298e51f7fb.png)

**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**

**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**

**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

、实战项目、大纲路线、讲解视频,并且后续会持续更新**

**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

  • 17
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值