分区是在处理大型事实表时常用的方法。分区的好处在于缩小查询扫描范围,从而提高速度。分区分为两种:静态分区static partition和动态分区dynamic partition。静态分区和动态分区的区别在于导入数据时,是手动输入分区名称,还是通过数据来判断数据分区。对于大数据批量导入来说,显然采用动态分区更为简单方便。
- 对现存hive表的分区
首先,新建一张我们需要的分区以后的表create table like 'origin'
若现存hive表中没有分区信息,我们需要手动修改hive配置数据库来增加hive表的分区信息。hive表分区存在PARTITION_KEYS数据表中,其中表项的| TBL_ID | PKEY_COMMENT | PKEY_NAME | PKEY_TYPE | INTEGER_IDX |分别是hive表名(在TBLS中存储),备注,分区名,分区索引的顺序。建立完成后我们就有一张类似于原始表,但是带有分区的表。
然后,我们修改一下hive的默认设置以支持动态分区:
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
第二步仅在你仅使用动态分区字段做分区索引时。
然后用hive的insert命令进行插入操作。注意,除了所有列外,需要将分区的动态字段跟在后面。
INSERT OVERWRITE TABLE target PARTITION (dt)
SELECT id,user_id,app_id,time,ip,substr(time,0,10) FROM origin
可以看到,动态分区的字段支持函数操作。
这样,我们得到了一张分区后的hive大表。
在hive中,有时候会希望根据输入的key,把结果自动输出到不同的目录中,这可以通过动态分区来实现,就是把每一个key当作一个分区,代码示例如下:
- set hive.exec.dynamic.partition=true;
- set hive.exec.dynamic.partition.mode=nonstrict;
- set hive.exec.dynamic.partitions.pernode=50000;
- set hive.exec.dynamic.partitions.partitions=50000;
- set hive.exec.max.created.files=500000;
- set mapred.reduce.tasks =20000;
- set hive.merge.mapfiles=true;
- drop table itemset;
- create table itemset(
- auctions string)
- partitioned by (category_id string)
- row format delimited
- fields terminated by '\t'
- stored as textfile
- location '/data/itemset';
- insert overwrite table itemset partition(category_id)
- select auctions, category_id from source_table distribute by category_id;
注意首先需要在hive语句中设置允许动态分区。即:
- set hive.exec.dynamic.partition=true;
- set hive.exec.dynamic.partition.mode=nonstrict;
但是这还不够,在动态分区有可能很大的情况下,还需要其他的调整:
hive.exec.dynamic.partitions.pernode 参数指的是每个节点上能够生成的最大分区,这个在最坏情况下应该是跟最大分区一样的值
hive.exec.dynamic.partitions.partitions 参数指的是总共的最大的动态分区数
hive.exec.max.created.files 参数指的是能够创建的最多文件数(分区一多,文件必然就多了...)
最后要注意的是select语句中要把distribute的key也select出来
参考:https://cwiki.apache.org/confluence/display/Hive/Tutorial#Tutorial-DynamicpartitionInsert