ELK和EFK的区别

Ben、10

已于 2024-06-27 16:22:40 修改

阅读量622

点赞数 13

文章标签： elk

于 2024-06-27 16:14:20 首次发布

本文链接：https://blog.csdn.net/Ben_10_/article/details/140015261

版权

ELK和EFK在日志管理和分析领域都是常用的开源解决方案，它们的核心组件都包括Elasticsearch和Kibana，但在日志收集阶段采用了不同的工具。以下是ELK和EFK之间的主要区别：

一、组件组成区别：

1、ELK方案组件：

（1）Elasticsearch（ES）：------------------------------------------------------------------日志存储、搜索

功能：Elasticsearch是一个基于Lucene的分布式搜索和分析引擎，用于实时存储和检索数据。它提供了全文搜索、结构化搜索、分析以及分布式、多租户能力的功能，能够轻松、快速地处理PB级数据。
特点：ES是一个分布式的搜索引擎，具有高可伸缩性、高可靠性和易管理性。它支持实时索引和搜索，并提供丰富的RESTful API供用户进行数据操作和管理。

（2）Logstash（LS）：-----------------------------------------------------------------------日志采集、处理

功能：Logstash是一个开源的数据收集引擎，能够从各种来源（如日志文件、消息队列、数据库等）实时地采集、转换和发送数据。它支持多种输入和输出格式，包括文本、日志、JSON、CSV等，并提供了数据过滤和转换的功能。
特点：Logstash是一个强大的数据收集工具，使用java语言开发，部署时需注意jdk环境和内存是否充足，具有灵活的插件系统，可以方便地扩展其功能。然而，由于其相对重量级的特性，可能会增加应用服务器端的负载压力。

（3）Kibana（K）：---------------------------------------------------------------------------------------日志展示

功能：Kibana是一个基于Elasticsearch的可视化分析平台，用于数据可视化和仪表板创建。它提供了一个直观的Web界面，使用户能够以图形化的方式探索、分析和可视化Elasticsearch中的数据。
特点：Kibana提供了丰富的图表统计功能，并支持各种查询和过滤方式。它允许用户轻松地创建自定义的仪表板和报告，以便更好地理解和监控数据。

2、EFK方案组件：【某些情况下会搭配mq消息队列使用】

（1）Elasticsearch（ES）： ------------------------------------------------------------------日志存储、搜索

功能：Elasticsearch是一个基于Lucene的分布式、RESTful风格的搜索和分析引擎，能够提供全文搜索、结构化搜索、分析以及将这三个功能合在一起的能力。
特点：Elasticsearch支持分布式部署，具有高可伸缩性、高可靠性和易管理性。它使用基于JSON的文档进行存储，可以方便地与各种数据源和应用程序集成。

（2）Filebeat（F） 或 Fluentd（F）：------------------------------------------------------日志采集、处理

功能：

Filebeat：是一个轻量级的日志收集器，用于监控和转发日志文件。它可以从多个来源实时收集日志，并将其发送到Elasticsearch或其他指定的位置。
Fluentd：是另一个强大的日志收集工具，可以从各种数据源收集数据，并将其发送到Elasticsearch或其他存储系统。Fluentd支持多种输入和输出插件，以及强大的数据处理功能。

特点：

Filebeat：使用go语言开发，轻量级、易于部署和配置，适用于大多数日志收集场景。它可以直接在服务器上运行，将日志发送到Elasticsearch进行索引和分析。
Fluentd：功能强大、灵活且可扩展。它支持多种数据源和输出目标，并提供了丰富的插件和过滤器，用于数据的清洗、转换和路由【常用于docker和k8s】。

（3）Kibana（K）：---------------------------------------------------------------------------------------日志展示

功能：Kibana是一个为Elasticsearch提供分析和可视化功能的Web平台。用户可以使用Kibana来查询、查看和与存储在Elasticsearch索引中的数据进行交互。
特点：Kibana提供了丰富的数据可视化选项，包括图表、地图、仪表板等。用户可以通过简单的拖放操作来创建自定义的仪表板，以便更好地理解和监控数据。

二、日志收集阶段：

ELK：使用Logstash作为日志收集工具。Logstash是一个强大的数据收集、转换和传输工具，支持多种输入源和输出目标，功能丰富但相对资源消耗较高。它适合复杂的数据清洗、转换场景。
EFK：使用Filebeat或Fluentd作为日志收集工具。
- Filebeat：由Elastic公司开发，专为日志收集而设计，具有资源占用低、易于部署的特点。它直接从服务器上的日志文件读取数据，进行初步的归集和简单处理，然后将其转发到Elasticsearch或其他中间件。
- Fluentd：一个统一的日志收集层，由Fluentd社区维护。它支持多种数据源和输出目标，并提供了丰富的插件和过滤器，用于数据的清洗和转换。

三、资源消耗：

四、部署和扩展：

五、适用场景：

总结来说，ELK和EFK在日志管理和分析领域都是优秀的开源解决方案，它们的主要区别在于日志收集阶段所使用的工具。选择哪种方案取决于具体的项目需求、资源限制和性能要求。

关注