【hive】- 使用insert into insert overwrite插入数据到静态分区、动态分区、动静态分区_hive insert into(2)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

;

* insert overwrite，删除在city\_code=‘200’,cur\_day='20231111’分区下数据，重新写入数据。

insert overwrite table test_1
partition(city_code=‘200’,cur_day=‘20231111’)
select
t.id,
t.name,
t.classes,
t.scores
from test_1_tmp t where city_code=‘200’
;

### 动态分区插入数据


* insert into / insert overwrite

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
insert into table test_1
partition(city_code,cur_day)
select
t.id,
t.name,
t.classes,
t.scores,
t.city_code,
t.cur_day
from test_1_tmp t
;

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
insert overwrite table test_1
partition(city_code,cur_day)
select
t.id,
t.name,
t.classes,
t.scores,
t.city_code,
t.cur_day
from test_1_tmp t
;

> 
> insert into table 插入动态分区，如果被插入表原来就有该分区，则追加插入数据；否则就正常插入数据。  
>  insert overwrite table 插入动态分区，如果被插入表原来就有该分区，删除原来该分区下数据，重新插入；否则就正常插入数据。
> 
> 
> 


**举例：**


未将test\_2\_tmp数据插入到test\_1时，test\_1表的数据情况：

select * from test_1;

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/cf1c550025ab41f2944313390460fd51.png)


表test\_2\_tmp的情况：

desc test_2_tmp;

±-----------±-----------±---------+
| col_name | data_type | comment |
±-----------±-----------±---------+
| id | string | |
| name | string | |
| classes | string | |
| scores | int | |
| city_code | string | |
| cur_day | string | |
±-----------±-----------±---------+

select * from test_2_tmp;

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/4d6024c46985404692f9fb81a4adbe1a.png)


用insert overwrite table重写写入（city\_code='200’与cur\_day='20231111’分区）和（city\_code='763’与cur\_day='20231112’分区），如下：

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
insert overwrite table test_1
partition(city_code,cur_day)
select
t.id,
t.name,
t.classes,
t.scores,
t.city_code,
t.cur_day
from test_2_tmp t
;

select * from test_1;

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/6fb8c66a1df144529022ffcd59d3abeb.png)



> 
> **注意：**
> 
> 
> 



> 
> 1、hive支持全动态分区，但是在使用前必须设置以下参数：  
>  set hive.exec.dynamic.partition=true;  
>  set hive.exec.dynamic.partition.mode=nonstrict;  
>  2、字段和目标表动态分区的对应关系是由字段顺序决定，并不是由列名称决定的。
> 
> 
> 



> 
> 3、向动态分区插入数据时，动态分区必须在select列表中，否则会执行失败。
> 
> 
> 

insert into table test_1
partition(city_code,cur_day)
select
t.id,
t.name,
t.classes,
t.scores
from test_1_tmp t
;

报错：

Error: Error while compiling statement: FAILED: SemanticException [Error 10044]: Line 1:18 Cannot insert into target table because column number/types are different ‘cur_day’: Table insclause-0 has 6 columns, but query has 4 columns. (state=42000,code=10044)

### 动静混合分区插入数据


* insert into / insert overwrite

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=strict;
insert into table test_1
partition(city_code=‘763’,cur_day)
select
t.id,
t.name,
t.classes,
t.scores,
t.cur_day
from test_1_tmp t
;

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=strict;
insert overwrite table test_1
partition(city_code=‘763’,cur_day)
select
t.id,
t.name,
t.classes,
t.scores,
t.cur_day
from test_1_tmp t
;

> 
> insert into table 插入动静混合分区，如果被插入表原来就有该分区，则追加插入数据；否则就正常插入数据。  
>  insert overwrite table 插入动静混合分区，如果被插入表原来就有该分区，删除原来该分区下数据，重新插入；否则就正常插入数据。
> 
> 
> 


**举例：**


未将test\_2\_tmp数据插入到test\_1时，test\_1表的数据情况：

select * from test_1;

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/cf1c550025ab41f2944313390460fd51.png)


表test\_2\_tmp的情况：

select * from test_2_tmp;

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/4d6024c46985404692f9fb81a4adbe1a.png)


用insert into追加插入（city\_code=‘763’,cur\_day）分区的情况，如下：

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=strict;
insert into table test_1
partition(city_code=‘763’,cur_day)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

Aiy6H-1715349611720)]
[外链图片转存中…(img-TvJniWD7-1715349611720)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取