服务器异常断电导致文件损坏,clickhouse无法启动--Detaching Broken Part,DB::Exception: Suspiciously many (12) broken par

原因
异常断电后,文件系统可能会出现问题,尤其是一些在不断进行读写合并的文件。由于clickhouse是开源列式存储数据库,服务器断电后,写入数据导致元数据与数据不一致。clickhouse在重启服务的时候会重新加载MergeTree表引擎数据,数据可能存在损坏情况。
clickhouse配置参数当中包含一个参数max_suspicious_broken_parts(默认路径 /etc/clickhouse-server/config.xml),默认值是10,可选范围是任意正整数。如果单个分区的损坏部分数量超过max_suspicious_broken_parts配置的值,则拒绝自动修复或者拒绝删除损坏部分的数据,并且在服务启动时直接报错退出。
目前需要尽量避免该错误以免服务启动失败,推荐把该参数配置为1000或者更大的值。

配置文件方式
如果服务起不来,只能通过配置文件的形式修改max_suspicious_broken_parts值,有两种方式。

法一:修改/etc/clickhouse-server/config.xml文件中max_suspicious_broken_parts的值,将其改为1000,重启clickhouse.
 

<merge_tree>
    <max_suspicious_broken_parts>1000</max_suspicious_broken_parts>
</merge_tree>

法二:新建max_suspicious_broken_parts.xml文件写入如下内容。clickhouse的配置文件推荐放置在/etc/clickhouse-server/config.d/文件夹下生效。如果是在Ubuntu或者Centos上面以DEB或RPM安装包的形式启动的,需要把该文件放到/etc/clickhouse-server/config.d/,最后通过service clickhouse-server restart重启clickhouse就可以了。
 

<?xml version="1.0"?>
<yandex>
     <merge_tree>
         <max_suspicious_broken_parts>1000</max_suspicious_broken_parts>
     </merge_tree>
</yandex>

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值