ELK-概述

一、面对的问题：    

    日志，包括：系统日志（服务器信息），应用程序日志（业务信息）等。通过系统日志可以了解系统的负荷、CPU、内存等信息并及时告警，通过应用程序日志，可以定位程序问题、业务故障等。我们现在的系统都是多服务器分布式集群部署，日志都散落在各个服务器的应用下，并未集中展示。

    在开发中，日志会以文件的形式存储，如利用Log4j等日志框架，但查看日志就很不方便了，需要去Linux服务器上使用grep、more、tail等命令查看，日志文件大且又多的时候，根本没法查找到自己想要的日志信息。而且，很多时候，都需要找运维下载日志文件到本地来查看。如：分布式日志数据集中式查询和管理、系统监控，包含系统硬件和应用各个组件的监控、故障排查、安全信息和事件管理、报表功能

二、ELK简述    

    ELK是三个工具的集合，Elasticsearch + Logstash + Kibana，这三个工具组合来搭建可视化的实时的海量日志分析平台。官方网站：https://www.elastic.co/products

1、Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

2、Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。

3、kibana 也是一个开源和免费的工具，他Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

 

三、ELK架构

    Kibana 能够以图表的形式呈现数据，并且具有可扩展的用户界面，供您全方位配置和管理 Elastic Stack。
    Elasticsearch 是基于 JSON 的分布式搜索和分析引擎，专为实现水平扩展、高可用和管理便捷性而设计
    Beats 是轻量型采集器的平台，从边缘机器向 Logstash 和 Elasticsearch 发送数据。
    Logstash 是动态数据收集管道，拥有可扩展的插件生态系统，能够与 Elasticsearch 产生强大的协同作用。
    X-Pack 是集成了多种便捷功能的单个插件 — security、alerting、monitoring、reporting、graph 探索和 machine learning — 您可以在 Elastic Stack 中放心地使用这些功能。

    Logstash收集App服务产生的Log，并存放到ElasticSearch集群中，而Kibana则从ES集群中查询数据。