【硬刚Hive】Hive基础（12）：Hive语法(6) DDL(3) hive动态分区

王知无(import_bigdata)

已于 2022-07-15 20:37:45 修改

阅读量346

点赞数

分类专栏： Hive系统性学习专栏文章标签： hive big data

于 2021-09-10 21:38:35 首次发布

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.csdn.net/u013411339/article/details/120230155

版权

Hive系统性学习专栏同时被 2 个专栏收录

76 篇文章 16 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

大数据成神之路

254 篇文章 157 订阅

订阅专栏

本文介绍了Hive动态分区功能，旨在提高插入大量分区数据的效率。内容包括如何创建单一字段动态分区表，动态插入数据，处理多个分区字段的情况，以及动态分区的相关配置参数调优，帮助理解并运用Hive动态分区操作。

摘要由CSDN通过智能技术生成

往hive分区表中插入数据时，如果需要创建的分区很多，比如以表中某个字段进行分区存储，则需要复制粘贴修改很多sql去执行，效率低。因为hive是批处理系统，所以hive提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。

1.创建一个单一字段分区表

1 hive>
2    create table dpartition(id int ,name string )
3    partitioned by(ct string  );

2.往表里装载数据，并且动态建立分区，以city建立动态分区

 1 hive>
 2  hive.exec.dynamici.partition=true;  #开启动态分区，默认是false
 3  set hive.exec.dynamic.partition.mode=nonstrict; #开启允许所有分区都是动态的，否则必须要有静态分区才能使用。
 4  insert overwrite table dpartition
 5  partition(ct)
 6  select id ,name,city from  mytest_tmp2_p; 
 7  
 8 要点：因为dpartition表中只有两个字段，所以当我们查询了三个字段时（多了city字段），所以系统默认以最后一个字段city为分区名ÿ