记一次Clickhouse服务不可用

问题描述:

集群没有做高可用,每个分片只有一个副本。查询时无法返回结果且并没有超时错误。

 

排查:

首先看下服务器负载。磁盘使用不到50%,内存使用不到20%,cpu空闲率超过80%,各项指标都正常。

第二步看下Clickhouse server日志。err log中先后出现两种错误信息:1.Connection Reset By Peer;2.Socket Write Buffer写入失败。

尝试在服务器启用Clickhouse client进行查询,发现:

上图可以看到查询一直停留在98%。

 

原因分析:

错误1产生有以下几个原因:

1)服务器的并发连接数超过了其承载量,服务器会将其中一些连接关闭;
如果知道实际连接服务器的并发客户数没有超过服务器的承载量,则有可能是中了病毒或者木马,引起网络流量异常。可以使用netstat -an查看网络连接情况。
2)客户关掉了浏览器,而服务器还在给客户端发送数据;
3)浏览器端按了Stop;
这两种情况一般不会影响服务器。但是如果对异常信息没有特别处理,有可能在服务器的日志文件中,重复出现该异常,造成服务器日志文件过大,影响服务

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
搭建高可用ClickHouse集群需要考虑以下几个方面: 1. 数据备份和恢复:可以使用ClickHouse自带的备份工具,将数据备份到远程存储,也可以使用第三方工具如Percona XtraBackup来进行备份和恢复。 2. 集群管理:可以使用Zookeeper来进行集群管理和协调,也可以使用ClickHouse自带的分布式引擎来进行集群管理。 3. 负载均衡:可以使用HAProxy或Nginx等负载均衡器来进行请求分发和负载均衡。 4. 高可用性:可以使用多副本复制来实现高可用性,即数据在多个节点上进行复制,当一个节点出现故障时,可以快速切换到其他节点。 下面是一个简单的ClickHouse集群搭建步骤: 1. 安装ClickHouse节点:可以选择单机或多台节点安装ClickHouse。 2. 配置ClickHouse节点:配置ClickHouse节点的参数,如数据目录、端口号、集群名称等。 3. 配置Zookeeper:如果使用Zookeeper进行集群管理,需要安装和配置Zookeeper。 4. 配置负载均衡器:如果使用负载均衡器,需要安装和配置负载均衡器,并将请求分发到各个ClickHouse节点。 5. 配置多副本复制:使用ClickHouse自带的分布式引擎或第三方工具如Percona XtraBackup来进行多副本复制,保证数据的高可用性。 6. 测试和优化:测试ClickHouse集群的性能和可用性,并进行优化和调整。 以上是一个简单的ClickHouse集群搭建步骤,具体的实现方式可以根据需求进行调整。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值