Apache Kudu建表时报错:The requested number of tablets is over the maximum permitted at creation time (60)

在Kudu中建表时有以下错误信息:

  • ImpalaRuntimeException: Error creating Kudu table 'impala::kudu_pdw.v_checkinfo' CAUSED BY: NonRecoverableException: The requested number of tablets is over the maximum permitted at creation time (60). Additional tablets may be added by adding range partitions to the table post-creation.

译文:所要求的tablets数量超过了创建时允许的最大数量(60)。可以通过在创建后的表中添加范围分区来添加其他的tablets。

问题分析:

在创建kudu表时,分区数量是有上限的,之前用1.2版本的时候上限是120,现在升级为1.4上限是60。

分区数量的计算方法是:如果只有一种分区,range分区的区间个数就是分区数,hash分区数就是指定的分区数,range partition   hash partition 混用时,总分区数=range分区数 x hash分取数。如下:

create table if not exists kudu_pdw.v_checkinfo (
    `BI_id` bigint,
    `memberid` string ,
    `arr_date` string ,
    `id` bigint ,
    `exid` bigint ,
    `memo` string ,
    `areaid` string ,
    `organ_id` string ,
    `organ_name` string ,
    PRIMARY KEY (id,memberid,arr_date)
)
PARTITION BY
HASH (memberid) PARTITIONS 10,
RANGE (ARR_DATE)
(
  PARTITION VALUES  <'2015-01-01 00:00:00',
  PARTITION '2015-01-01 00:00:00' <= VALUES < '2016-01-01 00:00:00',
  PARTITION '2016-01-01 00:00:00' <= VALUES < '2017-01-01 00:00:00',
  PARTITION '2017-01-01 00:00:00' <= VALUES < '2018-01-01 00:00:00',
  PARTITION '2018-01-01 00:00:00' <= VALUES < '2019-01-01 00:00:00',
  PARTITION '2019-01-01 00:00:00' <= VALUES < '2020-01-01 00:00:00',
  PARTITION '2020-01-01 00:00:00' <= VALUES < '2021-01-01 00:00:00',
  PARTITION '2021-01-01 00:00:00' <= VALUES < '2022-01-01 00:00:00',
  PARTITION '2022-01-01 00:00:00' <= VALUES < '2023-01-01 00:00:00',
  PARTITION '2023-01-01 00:00:00' <= VALUES < '2024-01-01 00:00:00',
  PARTITION '2024-01-01 00:00:00' <= VALUES
)
stored as kudu;

HASH 分区数为10,RANGE分取数为11,总分区数是110,超过了1.4.0版最大分区数(60).

解决方案:

在报错信息中已经有提示,可以在建好的表中添加range分区。即先减少range分区的个数,保证总分区数小于上限(不同版本上限不同),创建完成之后,在通过 

ALTER TABLE table_name ADD RANGE PARTITION partition_condatition

添加range分区。

疑问:

该上限值应该是可以配置的,但是我一直没有找到对应的配置项,或者修改的方法。如果哪位大神知道,烦请留言告知,小弟不胜感激。

kudu官档地址(只有最新版的,没有历史版本的):http://kudu.apache.org/docs/

补充:

经过验证,网友 zzr1000的方法是可用的。修改方法如下:

Kudu——》配置——》Master——》搜索gflagfile——》添加配置项  --max_create_tablets_per_ts=30——》保存重启

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
你可以使用 Java 提供的字符串处理函数来解析 Kudu SQL 语句中的字段信息。以下是一个简单的示例代码,可以解析出语句中的字段名、数据类型和约束信息: ```java String createTableSQL = "CREATE TABLE my_table (id INT PRIMARY KEY, name STRING NOT NULL, age INT)"; String[] tokens = createTableSQL.split("\\s+"); // 使用空格分隔语句中的单词 List<String> columnNames = new ArrayList<>(); List<String> columnTypes = new ArrayList<>(); List<String> columnConstraints = new ArrayList<>(); for (int i = 0; i < tokens.length; i++) { String token = tokens[i]; if (token.equals("(")) { // 左括号后面是字段定义 while (!tokens[i + 1].equals(")")) { String columnName = tokens[i + 1]; columnNames.add(columnName); String columnType = tokens[i + 2]; columnTypes.add(columnType); if (i + 3 < tokens.length && tokens[i + 3].equals("PRIMARY")) { // 主键约束 columnConstraints.add("PRIMARY KEY"); i += 4; } else if (i + 3 < tokens.length && tokens[i + 3].equals("NOT")) { // 非空约束 columnConstraints.add("NOT NULL"); i += 4; } else { // 没有约束 columnConstraints.add(""); i += 2; } } } } // 输出解析结果 for (int i = 0; i < columnNames.size(); i++) { System.out.println("Column name: " + columnNames.get(i)); System.out.println("Column type: " + columnTypes.get(i)); System.out.println("Column constraint: " + columnConstraints.get(i)); } ``` 该代码的基本思路是将语句中的单词按空格分隔开来,然后根据语法规则解析出字段名、数据类型和约束信息。由于该代码只是一个简单示例,可能无法解析所有的语句,你可以根据具体情况进行修改和完善。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值