那些年我们踩过的一些坑之 ClickHouse

摘要：ClickHouse 挺好用的，但是这些坑防不胜防，用过的才懂。本篇文章将持续更新...

1. 内存限制

2. 写数据失败

3. 删除数据

4. Join 关联默认值

1、group by 使用内存限制

错误信息如下：

Code: 241.DB::Exception: Memory limit (for query) exceeded:would use 9.37 GiB (attempt to allocate chunk of 134217760 bytes), maximum: 9.31 GiB.

定位到该查询中的 SQL 中使用了 group by ，默认的配置中没有对 group by 做内存限制。

解决方案：

执行 SQL 之前，在客户端进行如下设置

set max_memory_usage=32000000000;set max_bytes_before_external_group_by=16000000000;-- 下面是 sql 内容

在进行group by的时候，内存使用量已经达到了max_bytes_before_external_group_by的时候就进行写磁盘(基于磁盘的group by相对于基于磁盘的order by性能损耗要好很多的)，一般max_bytes_before_external_group_by设置为max_memory_usage / 2，原因是在clickhouse中聚合分两个阶段：查询并且建立中间数据；合并中间数据 写磁盘在第一个阶段，如果无须写磁盘，clickhouse在第一个和第二个阶段需要使用相同的内存。

https://clickhouse.tech/docs/en/sql-reference/statements/select/group-by/#select-group-by-in-external-memory

2、写入数据失败

1.错误信息如下：

Too many parts (300). Merges are processing significantly slower than inserts...

使用 Flink 实时消费 Kafka 的数据，Sink 到 ClickHouse ，策略是一条一条插入，任务上线一段时间之后，ClickHouse 扛不住数据插入的压力了(

是因为MergeTree的merge的速度跟不上 data part 生成的速度。)，就报错了上述的报错信息。

解决方案：

优化 FLink  ClickHouse Sink逻辑， 根据时间和数据量做触发，满足其一才会执行插入操作。

2.错误信息如下

Code: 252, e.displayText() = DB::Exception: Too many partitionsfor single INSERT block (more than 100). 

大概意思就是单次插入的数据分区太多了，超过默认配置的 100 个了。

解决方案：

1.合理设置分区字段 2.修改这个 max_partitions_per_insert_block 参数，调大这个值。

3、删除数据失败

错误信息如下：

Code: 359,e.displayText()=DB::Exception: Table or Partition in xxx was not dropped.Reason:1. Size (158.40 GB) is greater than max_[table/partition]_size_to_drop (50.00 GB)2. File '/data/clickhouse/clickhouse-server/flags/force_drop_table' intended to force DROP doesn't exist

从报错信息中的原因 1 可以看到，删除的数据实际大小已经超过了配置的大小。原因 2 说明是可以跳过配置检查，进行强制删除的，但是没找到这个文件 /data/clickhouse/clickhouse-server/flags/force_drop_table，所以不能跳过检查，也就是不能强制删除。

根据错误提示2 ，在所在的节点执行：

sudo touch '/data/clickhouse/clickhouse-server/flags/force_drop_table' && sudo chmod 666 '/data/clickhouse/clickhouse-server/flags/force_drop_table' 

然后再次执行 删除操作就可以了。

需要注意的是，这个标识文件有效期只有一次，执行删除完毕之后，这个文件就会消失。

4、Join 误用

关联两张表，对于未关联的行，使用该字段的默认值填充，而不是使用 null 填充。

在 system.settings 表中可以找到参数 join_use_nulls

这和我们在 Mysql 或者 Hive 等使用习惯上不一致，如果想要改成一样的，需要修改这个参数 join_use_nulls 为  1。

准备数据

-- 建表 1create table st_center.test_join_1(    id String,    name String) engine = MergeTree() order by tuple() SETTINGS index_granularity = 8192;-- 建表 2create table st_center.test_join_2(    id String,    name String) engine = MergeTree() order by tuple() SETTINGS index_granularity = 8192;-- 插入测试数据insert into test_join_1(id, name) values ('1','大数据学习指南');insert into test_join_1(id, name) values ('2','大数据进阶之路');insert into test_join_2(id, name) values ('1','大数据学习指南');insert into test_join_2(id, name) values ('2','Java进阶之路');

数据准备好了，下面我们测试一下。

select * from st_center.test_join_1  as t1all left join st_center.test_join_2  as t2on t1.id = t2.id

关联结果如下，未连接的行使用默认值填充的。String类型就填充空字符串，数值类型就填充 0

修改参数，在 SQL 最后加入 settings join_use_nulls = 1

select * from st_center.test_join_1  as t1all left join st_center.test_join_2  as t2on t1.id = t2.idsettings join_use_nulls = 1

关联结果如下，和我们在 mysql 等中的使用习惯一样了。

文篇文章将持续更新。

往期推荐

 

年度总结 | 2020 Flink 学习路线总结

Flink Forward Asia 2020 -- Keynote 总结

京东实时数据仓库开发实践

选择适合你的开源 OLAP 引擎

---

大数据学习指南 专注于大数据技术分享与交流。