ELK技术栈介绍

ElasticSearch

1、ElasticSearch学习随笔之基础介绍
2、ElasticSearch学习随笔之简单操作
3、ElasticSearch学习随笔之java api 操作
4、ElasticSearch学习随笔之SpringBoot Starter 操作
5、ElasticSearch学习随笔之嵌套操作
6、ElasticSearch学习随笔之分词算法
7、ElasticSearch学习随笔之高级检索
8、ELK技术栈介绍
9、Logstash部署与使用
10、ElasticSearch 7.x 版本使用 BulkProcessor 实现批量添加数据
11、ElasticSearch 8.x 弃用了 High Level REST Client，移除了 Java Transport Client，推荐使用 Elasticsearch Java API
12、ElasticSearch 8.x 使用 snapshot（快照）进行数据迁移
13、ElasticSearch 8.x 版本如何使用 SearchRequestBuilder 检索
14、ElasticSearch 8.x 使用 High Level Client 以 HTTPS 方式链接，SSL 证书、主机名验证器 各是什么，如何忽略
15、ElasticSearch 8.x 创建父子文档，用Join类型字段以及用has_child、has_parent 检索

---

---

前言

ELK技术栈由三个技术组成：Elasticsearch、Logstash和Kibana。每个技术都有自己的功能点和用法，同时它们也可以相互关联使用，形成一个完整的日志解决方案。此外，还有一个名为Beats的技术，它是一个轻量级的数据收集器，可以收集各种类型的数据并将其发送到Logstash或Elasticsearch进行处理和存储。

一、Elasticsearch

Elasticsearch是一个分布式的搜索和分析引擎，它可以快速地存储、搜索和分析大量数据。Elasticsearch使用Lucene搜索引擎来实现全文搜索，支持实时搜索和分析，可以通过API进行数据查询和聚合操作。Elasticsearch的优点包括高可用性、可扩展性、灵活性和性能优越。它的主要用途包括：

• 日志分析：Elasticsearch可以快速地存储和索引日志数据，并提供实时搜索和分析能力，适用于日志监控、安全审计等场景。
• 全文搜索：Elasticsearch可以支持全文搜索和自然语言查询，适用于搜索引擎、电子商务等场景。
• 指标分析：Elasticsearch可以支持实时聚合和分析数据，适用于性能监控、业务分析等场景。

Elasticsearch的功能包括：

• 分布式架构：Elasticsearch可以水平扩展，支持分布式部署和数据分片，可以处理大规模数据集。
• 实时搜索和分析：Elasticsearch可以提供实时搜索和分析能力，支持近实时的数据查询和聚合操作。
• 多数据源支持：Elasticsearch可以从多个数据源中收集数据，并支持多种数据格式和数据源。
• API支持：Elasticsearch提供了丰富的API，可以进行数据查询、聚合操作、索引操作等。

当前最新版本的Elasticsearch是8.x系列，它的主要特点包括：

• 更好的性能：8.x系列对性能进行了优化，可以提供更快的搜索和分析速度。
• 更好的安全性：8.x系列引入了更多的安全特性，包括加密通信、访问控制等。
• 更好的可用性：8.x系列引入了更多的高可用性特性，包括自动发现、自动恢复等。
• 更高级的功能：8.x系列加入了人工智能，对自然语言处理支持。

二、Logstash

Logstash是一个数据收集和处理引擎，用于收集、处理和转换各种数据源的数据。它可以从不同的数据源中收集数据，如文件、数据库、网络等，并将其转换为统一的格式，以便后续处理。Logstash支持多种插件，可以进行数据过滤、转换和输出。

Logstash的优点包括灵活性、可扩展性和强大的插件支持。它可以处理各种类型的数据，支持多种数据源和输出方式，可以方便地与Elasticsearch和Kibana等技术栈组件集成。此外，Logstash还支持多线程处理和事件模型，可以在大规模数据处理场景下提供高性能和可靠性。

缺点则包括性能较低和高耗费的CPU、内存资源，同时，Logstash的学习曲线较陡峭，需要一定的技术背景和经验。因此，在一些场景下，可能需要使用更轻量级的数据收集器，如Beats等。

三、Beats

Beats是ELK技术栈中的一个轻量级数据收集器，可以收集各种类型的数据并将其发送到Logstash或Elasticsearch进行处理和存储。Beats包括Metricbeat、Filebeat、Packetbeat、Winlogbeat等多个模块，可以适用于不同类型的数据收集场景。

功能：

• 日志收集：Beats可以收集各种类型的日志数据，如系统日志、应用日志、安全日志等。
• 指标收集：Beats可以收集各种类型的指标数据，如CPU、内存、网络、磁盘等。
• 事件收集：Beats可以收集各种类型的事件数据，如网络流量、系统事件等。

优点

• 轻量级：Beats是一个轻量级的数据收集器，可以快速安装、部署和配置。
• 易用性：Beats提供了简单易用的配置界面和命令行工具，可以方便地进行数据收集和管理。
• 灵活性：Beats支持多种数据源和输出方式，可以方便地与其他技术栈组件集成。
• 低资源消耗：Beats的资源消耗较低，可以在资源受限的设备上运行。

缺点

• 功能限制：相对于Logstash，Beats的功能较为有限，无法进行复杂的数据处理和转换。
• 不支持插件：Beats不支持自定义插件，无法进行自定义的数据过滤、转换和输出。
• 不适用于大规模数据：由于Beats本身是一个轻量级的数据收集器，不适用于大规模数据的收集和处理。

总的来说，Beats是一个轻量级、易用性好的数据收集器，适用于小规模数据的收集和处理。对于大规模数据的收集和处理，可能需要使用更为复杂、功能更为强大的数据收集引擎，如Logstash。

四：Kinaba

Kibana是一个数据可视化和分析工具，用于展示和分析从Elasticsearch中收集的数据。它可以通过可视化的方式展示数据，如图表、地图、仪表盘等，并支持实时查询和分析。Kibana还支持自定义仪表盘和可视化组件，可以根据需求自由定制数据展示方式。Kibana的优点包括易用性、可定制性和强大的可视化功能。缺点则包括不适用于大规模数据的查询和可视化。

常用功能

• 可视化展示：Kibana支持多种数据可视化方式，如图表、地图、仪表盘等，可以根据需求自由定制数据展示方式。
• 实时查询：Kibana支持实时查询和分析，可以快速地查看最新数据和结果。
• 仪表盘定制：Kibana支持自定义仪表盘和可视化组件，可以根据需求自由定制数据展示方式。
• 搜索：Kibana支持全文搜索和自然语言查询，可以方便地查询和过滤数据。

优点

• 易用性：Kibana提供了简单易用的界面和工具，可以方便地进行数据可视化和分析。
• 可定制性：Kibana支持自定义仪表盘和可视化组件，可以根据需求自由定制数据展示方式。
• 可视化功能：Kibana支持多种数据可视化方式，可以直观地展示数据和结果。

缺点

• 不适用于大规模数据：由于Kibana的查询和可视化功能较为复杂，不适用于大规模数据的查询和可视化。
• 学习曲线较陡峭：Kibana的学习曲线较陡峭，需要一定的技术背景和经验。
• 可视化功能较弱：相对于其他可视化工具，Kibana的可视化功能较为基础，无法进行复杂的数据可视化和分析。

总的来说，Kibana是一个易用性好、可定制性强的数据可视化和分析工具，适用于小规模数据的查询和可视化。对于大规模数据的查询和可视化，可能需要使用更为复杂、功能更为强大的可视化工具，如Tableau等。

五、总结

ELK技术栈的三个技术可以相互关联使用，形成一个完整的日志解决方案。Logstash负责收集和处理数据，将数据发送到Elasticsearch进行存储和索引，Kibana则用于展示和分析数据。这样的架构可以实现实时日志收集、存储、搜索和分析，适用于日志监控、安全审计、性能分析等领域。

总的来说，ELK技术栈具有灵活性、可扩展性和强大的数据处理和可视化能力，是一个优秀的日志解决方案。但同时也需要注意技术栈的学习曲线和性能问题。