clickhouse报错table_is_read_only恢复

前言

在clickhouse的使用过程中，总是出现table_is_read_only的报错，导致数据无法正常写入。之前部署的方式是使用clickhouse+zookeeper集群的方式部署，查阅官方文档后说是使用clickhouse-keeper可以解决该问题。但是实际使用clickhouse-keeper后，某些场景下出现readonly后，持续一段时间确实会自动恢复，但是更多的时候是出现该错误后，表的状态一直处于readonly模式，无法自动恢复，需要寻求解决方案

查询集群中所有处于readonly状态的表

连接clickhouse

格式：clickhouse-client -u 用户名 --password 密码  --port 端口 -h IP地址 -m

clickhouse-client -u default --password 123456 --port 9000 -h 127.0.0.1 -m

单个节点查询语句，仅查询当前节点上的readonly表

select table,zookeeper_path,replica_path from system.replicas where is_readonly;

集群查询语句，查询集群中所有的readonly表

select hostname() AS host,database,table,is_session_expired,is_readonly,future_parts,
zookeeper_exception,last_queue_update_exception
FROM clusterAllReplicas('集群名称',system.replicas) WHERE is_readonly ORDER BY host;

恢复方法

依次执行以下语句，注意必须是readonly状态的表才能执行，否则会报错

DETACH TABLE db_name.table_name;
ATTACH TABLE db_name.table_name;
SYSTEM RESTORE REPLICA db_name.table_name;
SYSTEM SYNC REPLICA db_name.table_name;

恢复脚本

附上批量执行脚本，注意修改里面的IP、端口和账号密码
restore_readonly.sh

#!/bin/bash
# clickhouse机器的IP和端口
hosts=("192.168.0.110" "192.168.0.111" "192.168.0.112")
ports=("9000" "9002")

for host in ${hosts[@]}; do
    for port in ${ports[@]}; do
    	query_result=$(clickhouse-client -u default --password 123456 --port $port -h $host --query "select database,table from system.replicas where is_readonly;")
    	# 该节点没有readonly状态的表，直接跳过
    	if [ -z "$query_result" ]; then
    		echo "$host:$port not have readonly table,skip"
    		continue
    	fi
		# 将结果按行分割，并遍历每一行
		while IFS= read -r line; do
		  # 分割行中的字段获取到数据库名和表名，并保存到变量中
		  database=$(echo $line | cut -d ' ' -f 1)
		  table=$(echo $line | cut -d ' ' -f 2)
		  
		  # 拼接新的SQL语句数组
		  new_sql=("DETACH TABLE $database.$table;" "ATTACH TABLE $database.$table;" "SYSTEM RESTORE REPLICA $database.$table;" "SYSTEM SYNC REPLICA $database.$table;")
		  
		  # 循环执行新的SQL语句并输出结果
		  for sql in "${new_sql[@]}"; do
		    # 执行新的SQL语句并输出结果
		    echo "Results for $database.$table:"
		    clickhouse-client -u default --password 123456 --port $port -h $host --query "$sql"
		    echo ""
		  done
		done <<< "$query_result"
	done
done

给脚本授权

chmod 755 restore_readonly.sh

执行

./restore_readonly.sh

执行完成后记得再次查询一下表状态，是否已经恢复正常。