问题描述:
集群没有做高可用,每个分片只有一个副本。查询时无法返回结果且并没有超时错误。
排查:
首先看下服务器负载。磁盘使用不到50%,内存使用不到20%,cpu空闲率超过80%,各项指标都正常。
第二步看下Clickhouse server日志。err log中先后出现两种错误信息:1.Connection Reset By Peer;2.Socket Write Buffer写入失败。
尝试在服务器启用Clickhouse client进行查询,发现:
上图可以看到查询一直停留在98%。
原因分析:
错误1产生有以下几个原因:
1)服务器的并发连接数超过了其承载量,服务器会将其中一些连接关闭;
如果知道实际连接服务器的并发客户数没有超过服务器的承载量,则有可能是中了病毒或者木马,引起网络流量异常。可以使用netstat -an查看网络连接情况。
2)客户关掉了浏览器,而服务器还在给客户端发送数据;
3)浏览器端按了Stop;
这两种情况一般不会影响服务器。但是如果对异常信息没有特别处理,有可能在服务器的日志文件中,重复出现该异常,造成服务器日志文件过大,影响服务