Apache Kudu建表时报错:The requested number of tablets is over the maximum permitted at creation time (60)

在Kudu中建表时有以下错误信息:

  • ImpalaRuntimeException: Error creating Kudu table 'impala::kudu_pdw.v_checkinfo' CAUSED BY: NonRecoverableException: The requested number of tablets is over the maximum permitted at creation time (60). Additional tablets may be added by adding range partitions to the table post-creation.

译文:所要求的tablets数量超过了创建时允许的最大数量(60)。可以通过在创建后的表中添加范围分区来添加其他的tablets。

问题分析:

在创建kudu表时,分区数量是有上限的,之前用1.2版本的时候上限是120,现在升级为1.4上限是60。

分区数量的计算方法是:如果只有一种分区,range分区的区间个数就是分区数,hash分区数就是指定的分区数,range partition   hash partition 混用时,总分区数=range分区数 x hash分取数。如下:

create table if not exists kudu_pdw.v_checkinfo (
    `BI_id` bigint,
    `memberid` string ,
    `arr_date` string ,
    `id` bigint ,
    `exid` bigint ,
    `memo` string ,
    `areaid` string ,
    `organ_id` string ,
    `organ_name` string ,
    PRIMARY KEY (id,memberid,arr_date)
)
PARTITION BY
HASH (memberid) PARTITIONS 10,
RANGE (ARR_DATE)
(
  PARTITION VALUES  <'2015-01-01 00:00:00',
  PARTITION '2015-01-01 00:00:00' <= VALUES < '2016-01-01 00:00:00',
  PARTITION '2016-01-01 00:00:00' <= VALUES < '2017-01-01 00:00:00',
  PARTITION '2017-01-01 00:00:00' <= VALUES < '2018-01-01 00:00:00',
  PARTITION '2018-01-01 00:00:00' <= VALUES < '2019-01-01 00:00:00',
  PARTITION '2019-01-01 00:00:00' <= VALUES < '2020-01-01 00:00:00',
  PARTITION '2020-01-01 00:00:00' <= VALUES < '2021-01-01 00:00:00',
  PARTITION '2021-01-01 00:00:00' <= VALUES < '2022-01-01 00:00:00',
  PARTITION '2022-01-01 00:00:00' <= VALUES < '2023-01-01 00:00:00',
  PARTITION '2023-01-01 00:00:00' <= VALUES < '2024-01-01 00:00:00',
  PARTITION '2024-01-01 00:00:00' <= VALUES
)
stored as kudu;

HASH 分区数为10,RANGE分取数为11,总分区数是110,超过了1.4.0版最大分区数(60).

解决方案:

在报错信息中已经有提示,可以在建好的表中添加range分区。即先减少range分区的个数,保证总分区数小于上限(不同版本上限不同),创建完成之后,在通过 

ALTER TABLE table_name ADD RANGE PARTITION partition_condatition

添加range分区。

疑问:

该上限值应该是可以配置的,但是我一直没有找到对应的配置项,或者修改的方法。如果哪位大神知道,烦请留言告知,小弟不胜感激。

kudu官档地址(只有最新版的,没有历史版本的):http://kudu.apache.org/docs/

补充:

经过验证,网友 zzr1000的方法是可用的。修改方法如下:

Kudu——》配置——》Master——》搜索gflagfile——》添加配置项  --max_create_tablets_per_ts=30——》保存重启

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值