ELK中Logstash失效问题处理记录

环境：

系统均为CentOS 7.5 64位

Elasticsearch：6.0.0

Logstash：6.0.1

Kibana：6.0.0

filebeat：6.0.1

集群有三台服务器，其中Elasticsearch 主节点master，Logstash，Kibana都部署在服务器A上，其余B和C分别部署Elasticsearch子节点，与A一并组成Elasticsearch集群，而filebeat部署在生产环境上负责采集应用日志

 

故障问题：

某日机房停电后发现logstash日志无限反馈

Could not retrieve remote IP address for beats input 

并伴有 

[WARN ][io.netty.channel.AbstractChannelHandlerContext] An exception 'java.lang.NullPointerException' [enable DEBUG level for full stacktrace] was thrown by a user handler's exceptionCaught() method while handling the following exception:
java.io.IOException: Connection reset by peer

的java空指针异常信息

 

处理过程：

1.首先尝试重启整个Elasticsearch集群，包括所有filebeat，问题依旧

2.其次调整服务器所在虚拟机内存和CPU，以及硬盘i/o份额，甚至重启虚拟机服务端所在物理机，问题依旧

3.谷歌到elasticsearch社区里的问答板块有老外表示找到logstash根目录下的vendor/bundle/jruby/2.3.0/gems/logstash-input-beats-5.0.3-java/lib/logstash/inputs/beats/message_listener.rb文件，找到

begin
        hash.get("@metadata").put("ip_address", ctx.channel().remoteAddress().getAddress().getHostAddress())
      rescue #should never happen, but don't allow an error here to stop beats input
        input.logger.warn("Could not retrieve remote IP address for beats input.")
      end

并删除之后可解决该问题，操作后问题依旧

4.依然是谷歌elasticsearch社区里的问答板块有老外表示升级logstash版本可解决，于是下载了logstash-6.2.0，干掉当前正在运行的logstash进程，确保默认的服务端口5044不再被占用，然后拷贝原logstash的config目录下的conf后缀配置文件和patterns目录到新的logstash的对应目录下，表示继承原有的日志过滤规则和配置，之后启动logstash-6.2.0，打开kibana，发现能够正常展示出日志，问题解决

 

总结：

1.在elasticsearch社区里查询解决方案的时候发现较多的人认为是logstash内置的与filebeat通讯的插件的问题，在升级插件或者logstash后得到解决，疑似为旧版本的bug。

2.在升级logstash的时候选用的新版本注意不要和当前elasticsearch以及filebeat，kibana等版本差距过大，避免出现不兼容等问题。