原因
异常断电后,文件系统可能会出现问题,尤其是一些在不断进行读写合并的文件。由于clickhouse是开源列式存储数据库,服务器断电后,写入数据导致元数据与数据不一致。clickhouse在重启服务的时候会重新加载MergeTree表引擎数据,数据可能存在损坏情况。
clickhouse配置参数当中包含一个参数max_suspicious_broken_parts(默认路径 /etc/clickhouse-server/config.xml),默认值是10,可选范围是任意正整数。如果单个分区的损坏部分数量超过max_suspicious_broken_parts配置的值,则拒绝自动修复或者拒绝删除损坏部分的数据,并且在服务启动时直接报错退出。
目前需要尽量避免该错误以免服务启动失败,推荐把该参数配置为1000或者更大的值。
配置文件方式
如果服务起不来,只能通过配置文件的形式修改max_suspicious_broken_parts值,有两种方式。
法一:修改/etc/clickhouse-server/config.xml文件中max_suspicious_broken_parts的值,将其改为1000,重启clickhouse.
<merge_tree>
<max_suspicious_broken_parts>1000</max_suspicious_broken_parts>
</merge_tree>
法二:新建max_suspicious_broken_parts.xml文件写入如下内容。clickhouse的配置文件推荐放置在/etc/clickhouse-server/config.d/文件夹下生效。如果是在Ubuntu或者Centos上面以DEB或RPM安装包的形式启动的,需要把该文件放到/etc/clickhouse-server/config.d/,最后通过service clickhouse-server restart重启clickhouse就可以了。
<?xml version="1.0"?>
<yandex>
<merge_tree>
<max_suspicious_broken_parts>1000</max_suspicious_broken_parts>
</merge_tree>
</yandex>