对ELK的理解

什么是ELK

ELK是一套针对日志数据做解决方案的框架，由三款产品组成：ElasticSearch（ES）、Logstash、Kibana。

• ElasticSearch负责日志的存储和检索。
• Logstash负责日志的收集、过滤和格式化。
• Kibana则负责日志的展示统计和数据可视化。

ELK框架对服务行为数据进行分析。它能解决应用出现故障需要通过日志排查故障信息的问题。当应用已部署了多个环境时，排查的难度和耗时就是一个巨大的损耗。而ELK就可以对多个环境的日志进行收集、过滤、存储、检错和可视化。届时只需要查看Kibana上的日志信息，就可以找出故障所在。 ELK也能够针对应用在生产环境上的表现需要数据支撑，如访客数、功能调用量、出错率等等。这类数据的收集可以通过使用别的产品或编写一套程序进行输出，但能像ELK这样对应用无入侵，且功能强大的开源软件是少之又少的。

ELK框架由三个开源软件组成。Elasticsearch是日志存储和搜索的组件，提供了分布式的实时搜索和分析引擎。Elasticsearch是一个开源的分布式搜索引擎，支持全文检索、结构化搜索和分析，并且可以扩展到数百台服务器上处理PB级别的数据。Logstash是ELK中的日志收集、处理和转发组件。它可以从各种数据源（如文件、系统日志、数据库、AWS、消息队列等）收集数据，并将数据转换为统一的格式，然后发送给Elasticsearch等目标。Kibana是一个开源的数据可视化平台，可以从Elasticsearch中检索数据，进行分析和展示。它支持实时图表和地图、仪表盘、警报等功能。

ELK的部署和配置需要考虑输出日志的合理性和符合规范。在研发过程中，需要考虑哪些内容应该被输出到日志，这些问题将影响ELK的配置和部署。ELK在实际中可以通过多种方式部署，如单机部署、集群部署、Docker容器部署等。 单机部署适用于小型场景，但在大型场景下可能无法满足要求。集群部署可以在多台服务器上实现高可用和负载均衡，但需要考虑数据同步和节点扩容等问题。Docker容器部署可以快速构建和部署ELK环境，但需要注意容器网络和存储等问题。

优缺点

优点：

• ELK提供了一个完整的解决方案，它的三个组件之间可以高效的协同工作，使得日志的采集、传输、存储、分析和警告都可以高效地完成。
• Elasticsearch作为一个分布式搜索引擎，提供搜集、分析、存储数据三大功能，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
• Logstash主要用于日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
• Kibana提供了一个web界面，可以直观的展示数据，方便用户进行数据分析和可视化。

缺点：

• ELK方案往往规模复杂，资源占用高，操作苦难。很多功能往往用不上，大多数查询只关注一定时间范围和一些简单的参数（如：host、service 等），使用这些解决方案就有点杀鸡用牛刀的感觉了。
• Logstash耗资源较大，运行占用CPU和内存高。另外没有消息队列缓存，存在数据丢失隐患。