Elasticsearch脑裂现象

前段时间系统压测，非常好运的遇到了传说中的脑裂现象(心中满是无奈~)，在此写个博记录下

现象

同时出现多个master  
访问不同的节点，会发现集群状态不一样，可用节点数不一样

可能的原因

节点负载
    master节点同时扮演master和data角色的话，当工作节点负载太大或者遇到full gc ，导致对es实例响应停止响应，
    这个时候其它节点以为master挂了，然后重新选举master，这个时候出现两个master 。

应对办法

角色划分，用三台es扮演master角色，其余的data角色
避免master节点因为工作负载过大出现响应中断从而引发脑裂问题

node.master: true
node.data: false

为了使新加入的节点快速确定master位置，可以将data节点的默认的master发现方式有multicast修改为unicast：

discovery.zen.ping.multicast.enabled: false
discovery.zen.ping.unicast.hosts: ["master1", "master2", "master3"]


提高响应时间
discovery.zen.ping_timeout（默认值是3秒）

这些办法都是缓解，不能根治

[INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 429 ({"type"=>"es_rejected_execution_exception", "reason"=>"rejected execution of
org.elasticsearch.transport.TransportService$7@1228229a on EsThreadPoolExecutor[bulk, 
queue capacity = 200, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@b45c186[Running, pool size = 8, active threads = 8, queued tasks = 200, 
completed tasks = 16346]]"})

es 集群吞吐量不高导致的，水平扩展es集群，降低负载