Hive动态分区与建表、插入数据操作

最新推荐文章于 2024-08-18 22:53:11 发布

nma_123456

最新推荐文章于 2024-08-18 22:53:11 发布

阅读量2w

点赞数 1

分类专栏： Hive 文章标签： hive 动态分区

本文链接：https://blog.csdn.net/nma_123456/article/details/51672401

版权

本文介绍了Hive的动态分区概念，包括启用动态分区的配置、动态分区的限制模式以及相关参数设置。通过示例展示了如何创建动态分区表、插入数据以及执行严格模式的插入操作。此外，还讲解了清除数据、查看表创建语句、删除表以及创建数据库等基本操作。Hive动态分区简化了数据管理，提高了效率。

摘要由CSDN通过智能技术生成

1、定义

动态分区指不需要为不同的分区添加不同的插入语句，分区不确定，需要从数据中获取。

set hive.exec.dynamic.partition=true;//使用动态分区

(可通过这个语句查看：set hive.exec.dynamic.partition;)

set hive.exec.dynamic.partition.mode=nonstrict;//无限制模式

如果模式是strict，则必须有一个静态分区，且放在最前面。

SET hive.exec.max.dynamic.partitions.pernode=10000;每个节点生成动态分区最大个数

set hive.exec.max.dynamic.partitions=100000;,生成动态分区最大个数，如果自动分区数大于这个参数，将会报错

set hive.exec.max.created.files＝150000; //一个任务最多可以创建的文件数目

set dfs.datanode.max.xcievers=8192;//限定一次最多打开的文件数set dfs.datanode.max.xcievers=8192;//限定一次最多打开的文件数

2、创建静态分区表与动态分区表在hql语句上没有本质区别，主要区别在于hive.exec.dynamic.partition.mode设置。

例：

CREATE TABLE order (

关注

专栏目录