oracle动态分区静态分区,hive静态与动态分区理解

今天博主需要建立一个备份带分区的数据表，拷贝时若采用静态分区方式需要写N行语句，因此可以使用动态分区，节省大量时间。

Hive的分区方式：由于Hive实际是存储在HDFS上的抽象，Hive的一个分区名对应一个目录名，子分区名就是子目录名，并不是一个实际字段。

一)hive中支持两种类型的分区：

静态分区SP(static partition)

动态分区DP(dynamic partition)

静态分区与动态分区的主要区别在于静态分区是手动指定，而动态分区是通过数据来进行判断。详细来说，静态分区的列实在编译时期，通过用户传递来决定的；动态分区只有在SQL执行时才能决定。

二)实战演示如何在hive中使用动态分区

1、创建一张分区表，包含两个分区dt和ht表示日期和小时

CREATE TABLE partition_table001

(

name STRING,

ip STRING

)

PARTITIONED BY (dt STRING, ht STRING)

ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t";

2、启用hive动态分区，只需要在hive会话中设置两个参数：

set hive.exec.dynamic.partition=true;

set hive.exec.dynamic.partition.mode=nonstrict;

注意，动态分区不允许主分区采用动态列而副分区采用静态列，这样将导致所有的主分区都要创建副分区静态列所定义的分区。hive.exec.