在Kudu中建表时有以下错误信息:
- ImpalaRuntimeException: Error creating Kudu table 'impala::kudu_pdw.v_checkinfo' CAUSED BY: NonRecoverableException: The requested number of tablets is over the maximum permitted at creation time (60). Additional tablets may be added by adding range partitions to the table post-creation.
译文:所要求的tablets数量超过了创建时允许的最大数量(60)。可以通过在创建后的表中添加范围分区来添加其他的tablets。
问题分析:
在创建kudu表时,分区数量是有上限的,之前用1.2版本的时候上限是120,现在升级为1.4上限是60。
分区数量的计算方法是:如果只有一种分区,range分区的区间个数就是分区数,hash分区数就是指定的分区数,range partition hash partition 混用时,总分区数=range分区数 x hash分取数。如下:
create table if not exists kudu_pdw.v_checkinfo (
`BI_id` bigint,
`memberid` string ,
`arr_date` string ,
`id` bigint ,
`exid` bigint ,
`memo` string ,
`areaid` string ,
`organ_id` string ,
`organ_name` string ,
PRIMARY KEY (id,memberid,arr_date)
)
PARTITION BY
HASH (memberid) PARTITIONS 10,
RANGE (ARR_DATE)
(
PARTITION VALUES <'2015-01-01 00:00:00',
PARTITION '2015-01-01 00:00:00' <= VALUES < '2016-01-01 00:00:00',
PARTITION '2016-01-01 00:00:00' <= VALUES < '2017-01-01 00:00:00',
PARTITION '2017-01-01 00:00:00' <= VALUES < '2018-01-01 00:00:00',
PARTITION '2018-01-01 00:00:00' <= VALUES < '2019-01-01 00:00:00',
PARTITION '2019-01-01 00:00:00' <= VALUES < '2020-01-01 00:00:00',
PARTITION '2020-01-01 00:00:00' <= VALUES < '2021-01-01 00:00:00',
PARTITION '2021-01-01 00:00:00' <= VALUES < '2022-01-01 00:00:00',
PARTITION '2022-01-01 00:00:00' <= VALUES < '2023-01-01 00:00:00',
PARTITION '2023-01-01 00:00:00' <= VALUES < '2024-01-01 00:00:00',
PARTITION '2024-01-01 00:00:00' <= VALUES
)
stored as kudu;
HASH 分区数为10,RANGE分取数为11,总分区数是110,超过了1.4.0版最大分区数(60).
解决方案:
在报错信息中已经有提示,可以在建好的表中添加range分区。即先减少range分区的个数,保证总分区数小于上限(不同版本上限不同),创建完成之后,在通过
ALTER TABLE table_name ADD RANGE PARTITION partition_condatition
添加range分区。
疑问:
该上限值应该是可以配置的,但是我一直没有找到对应的配置项,或者修改的方法。如果哪位大神知道,烦请留言告知,小弟不胜感激。
kudu官档地址(只有最新版的,没有历史版本的):http://kudu.apache.org/docs/
补充:
经过验证,网友 zzr1000的方法是可用的。修改方法如下:
Kudu——》配置——》Master——》搜索gflagfile——》添加配置项 --max_create_tablets_per_ts=30——》保存重启