hive动态分区

最新推荐文章于 2024-03-07 15:04:54 发布

ming_rw

最新推荐文章于 2024-03-07 15:04:54 发布

阅读量515

点赞数

分类专栏： Hive 文章标签： hive 大数据动态分区

本文链接：https://blog.csdn.net/weixin_43695091/article/details/116336942

版权

本文介绍了Hive中的动态分区与静态分区概念。动态分区允许分区字段根据select语句中的值变化，适合处理多样化的输入数据。而静态分区则指定固定分区值，每次插入仅针对一个分区。在使用动态分区时，需要关注特定参数设置和调优策略。

摘要由CSDN通过智能技术生成

动态分区：分区字段可以为动态变换的值，一般是依据select中最后的一个字段

静态分区：分区字段指定具体一个值，一次insert操作智能插入一个分区

set hive.exec.dynamic.partition =true（默认false）,表示开启动态分区功能
set hive.exec.dynamic.partition.mode = nonstrict(默认strict),表示允许所有分区都是动态的，否则必须有静态分区字段

insert overwrite table t1 partition (dt)

select col1,col2,col3,col4 from t2

----最终结果，t2