es (brain split)脑裂问题导致重建索引速度缓慢

场景:

线上使用两台es主机,6.2.4版本,组成集群(为什么是两台,这就是历史遗留问题了......)

使用logstash-jdbc同步数据库中的数据到es(定时重建索引任务),原本只需要1到2秒的时间,现在居然1min(logstash抓取modify_time字段的时间间隔)仅仅同步了部分数据

问题排查:

查看logstash日志,其已经向mysql发出了执行请求

查看es日志,没有什么特别的异常(这里实际上有问题,因为es日志是每天归档的,我只是看了几天的日志)

于是两个怀疑

1. mysql的响应慢

2. es的写入慢

3. 网络通信问题(最低可能)

 

针对怀疑1:

现在服务器上使用tcpdump抓包,看一下mysql的响应情况

通过tcp追踪流,发现mysql响应正常

 

针对怀疑2:

怎么看es的写入速度情况呢?先看一下集群索引情况

不看不知道,一看吓一跳

那么问题就清楚了,这两台es主机发生了脑裂,各自都成为了一个集群,而kibana是连接在其中一台机器上,只能看到这台机器的情况

解决:

逐个重启两台es,其重新建立集群,好在数据似乎合并起来并没啥问题

有一些重要数据是replica=1的,有一些数据是replica=0的

 

1. 之前疏忽对集群健康的监控,准备加入到prometheus metrics指标中

2. 加入一台,扩容为三台,避免发生脑裂问题

3. 追踪es日志,最后发现之前某台机器es由于OOM重启过一次,而在重启之后,就脑裂了

[2020-03-16T10:50:45,486][ERROR][o.e.t.n.Netty4Utils      ] fatal error on the network layer

[2020-03-16T10:51:39,725][ERROR][o.e.b.ElasticsearchUncaughtExceptionHandler] fatal error in thread [elasticsearch [search][T#5]], exiting

java.lang.OutOfMemoryError: Java heap space

[2020-03-16T10:52:00,975][ERROR][o.e.b.ElasticsearchUncaughtExceptionHandler] fatal error in thread [Thread-510337], exiting

java.lang.OutOfMemoryError: Java heap space

 

发布了453 篇原创文章 · 获赞 234 · 访问量 122万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览