hive分区partition（动态和静态分区混合使用; partition的简介）

最新推荐文章于 2024-09-25 16:42:54 发布

longshenlmj

最新推荐文章于 2024-09-25 16:42:54 发布

阅读量1.3w

点赞数 1

分类专栏： hive 云计算文章标签： hive

本文链接：https://blog.csdn.net/longshenlmj/article/details/51446697

版权

本文介绍了Hive的分区概念，包括动态和静态分区的使用。详细讲解了创建、添加、删除分区的语法，并提供了加载数据到分区表的示例，以及如何进行基于分区的查询操作。

摘要由CSDN通过智能技术生成

分区是hive存放数据的一种方式。将列值作为目录来存放数据，就是一个分区。这样where中给出列值时，只需根据列值直接扫描对应目录下的数据，不扫面其他不关心的分区，快速定位，查询节省大量时间。分动态和静态分区两种

动态分区

1）不显示的给出分区名，根据列的取值自动建立对应分区（多少种取值，多少种分区），所以需要限制最大分区数：
    SET hive.exec.dynamic.partition=true;
    SET hive.exec.max.dynamic.partitions.pernode=1000;
    SET hive.exec.max.dynamic.partitions=3000; 
2）分区全部使用动态分区，还要设置为nonstrict模式，否则无法执行
    set hive.exec.dynamic.partition.mode=nonstrict;

3）动态分区按位置来对应，跟名称无关。所以查询select中必须在最后字段按动态分区顺序给出对应字段

    insert overwrite table tb_pmp_raw_log_analysis_count partition (day='2016-05-17', media,type)
        select advertiser_id,ad_plan_id,crt_id,hour,ad_place_id,city_bidrequest,device,network,os,category,channel,ad_type,rtb_type,price,count(1) as cnt,media, 1 as type
        from (
          select 
            split(all,'\\\\|~\\\\|')[41] as advertiser_id,
            split(all,'\\\\|~\\\\|')[10] as ad_plan_id,
            split(all,'\\\\|~\\\\|')[11] as crt_id,
            substr(split(all,'\\\\|~\\\\|')[0],12,2) as hour,
            ca