软件开发ELK日志基础框架

　　ELK日志基础框架

　　收集和分析日志是应用开发及运维至关重要的一环，为应对日志产生速度越来越快的问题，传统手段和工具在排错过程显得力不从心，基于现状，本系统采用基于全文搜索引擎Lucene构建的ELKstack平台，是目前主流的日志收集分析解决方案，ELK包含的组件有Logstash、Beats、ElasticSearch、Kibana。

　　ELK统一日志数据流图

　　ELK日志系统数据流图

　　ELK系统进行日志收集的过程可以分为三个环节：

　　(1)日志收集和导入ElasticSearch;

　　(2)ElasticSearch进行索引等处理;

　　(3)可视化操作，查询等;

　　Logstash可以结合Redis或者Rabbitmq、Kafka等消息中间件收集应用服务器产生的日志，经过简单的过滤等操作后发送到ElasticSearch，ElasticSearch进行相关的索引处理，最后在Kibana进行相关的可视化操作。

　　问题分析

　　收集和分析日志是应用开发及运维至关重要的一环，本系统采用的微服务分布式特性导致日志分散，产生日志速度越来越快，传统手段和工具在排错过程显得力不从心，基于现状，本系统采用基于全文搜索引擎Lucene构建的ELKstack平台，是目前主流的日志收集分析解决方案，ELK包含的组件有Logstash、Beats、ElasticSearch、Kibana。

　　ELK统一日志数据流图

　　ELK日志系统数据流图

　　ELK系统进行日志收集的过程可以分为三个环节：

　　(1)日志收集和导入ElasticSearch

　　(2)ElasticSearch进行索引等处理

　　(3)可视化操作，查询等

　　Logstash可以结合Redis或者Rabbitmq、Kafka等消息中间件收集应用服务器产生的日志，经过简单的过滤等操作后发送到ElasticSearch，ElasticSearch进行相关的索引处理，最后在Kibana进行相关的可视化操作。