前言
在生产上使用了ELK+filebeat,filebeat负责收集日志,Logtash负责过滤日志并输出到Elasticsearch,Elasticsearch根据Logstash的输出做索引,Kibana负责调用Elasticsearch的API接口展示数据。
架构
ELK是部署在单独的一台服务器上,负责收集日志的客户端总共是16台。
故障
登录Kibana查看信息的时候出现以下信息,说明Elasticsearch已经挂了。
查看日志如下:
Logstash日志如下:
排查
通过以上错误可以判断,Queued Tasks超过1000,并且在重新启动