案例：elk- write拒绝执行问题排查

问题现象

现象1

es日志提示拒绝了写入请求，集群状态绿色，不明所以。

现象2：
当无此报错且集群状态绿色时，新数据的写入时有时无（kibana monitor看es监控）。
上游logstash和kafka运行正常，查看logstash监控发现接收数据速度几千/s（kibana monitor看logstash监控），产出(emit)却是个位数，同时看到kafka lag严重（kafka manager）。

现象3：
增加数据节点，并独立出master以后，数据写入得到恢复，但某个数据节点（click集群117-2）却每天挂一次。

现象4：
上述情况下，在cerebro查看集群各节点监控，发现均正常（heap, disk, load）。

现象5：
logstash报错LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError。但es集群明明是可达的。

问题原因

写线程占用情况

curl -X GET 'http://xxxx:9200/_nodes/stats?pretty'