Clickhouse填坑记4：Too many parts问题分析

最新推荐文章于 2024-07-03 09:31:25 发布

IT源哥

最新推荐文章于 2024-07-03 09:31:25 发布

阅读量600

点赞数

分类专栏：源哥讲互联网技术大数据、微服务、SaaS、CRM、在线客服、呼叫中心技术文章标签： clickhouse 大数据

本文链接：https://blog.csdn.net/sunlen/article/details/136330551

版权

源哥讲互联网技术同时被 2 个专栏收录

57 篇文章 88 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

大数据、微服务、SaaS、CRM、在线客服、呼叫中心技术

37 篇文章 17 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

在使用Clickhouse处理大数据同步时遇到'Too many parts'异常，该问题由大量小文件产生及Merge任务堆积引起。通过观察CPU使用率和分区数发现，频繁的小批量插入导致了此问题。解决方案是增大插入提交批次，例如从每100个提交一次改为每1万个提交一次，以减少文件碎片并降低CPU消耗。

摘要由CSDN通过智能技术生成

Clickhouse在进行大数据量同步时，感觉很爽，插入速度非常快，但是，在使用过程中却出现了几次“Too many parts”异常报错，搞得很痛苦，这里记录一下解决过程。

我这边采用的是Flink程序，实时将数据写入ClickHouse，在执行一段时间后，会提示“Too many parts”异常，如下异常如下：

ru.yandex.clickhouse.except.ClickHouseException: ClickHouse exception, code: 252, host: 10.10.4.1, port: 8114; Code: 252, e.displayText() = DB::Exception: Too many partitions for single INSERT block (more than 100). The limit is controlled by 'max_partitions_per_insert_block' setting. Large number of partitions is a common misconception. It will lead to severe negative