Hive在操作表的时候默认用的就是静态分区,动态分区在填充数据的时候需要去判断分区,效率上比静态分区较有不足。
至于使用上,例如当前有一张mytable
表。
CREATE TABLE mytable
(
name STRING,
sex STRING
)
PARTITIONED BY (dt STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t";
静态分区
以静态分区的方式写入数据就需要直接通过partition (分区字段=分区值)
的方式指定一个分区
insert overwrite table mytable partition (dt='20150617') select ....
动态分区
想要使用Hive的动态分区就需要修改两个参数
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
这两个参数你可以在运行的语句前面增加也可以去找找网上的hive-site的配置
使用动态分区在语句上其实和静态分区的区别就是在写语句的时候,不在为分区字段直接指定值,而是用变量的形式去代替,让分区随着数据的变化而变化
insert overwrite table mytable partition (dt) select ....