ELK【elasticsearch+logstash+kibana】企业级日志分析系统

shanjun12

已于 2023-04-09 21:35:20 修改

阅读量690

点赞数

文章标签： elasticsearch elk

于 2023-04-09 21:33:46 首次发布

本文链接：https://blog.csdn.net/shanjun12/article/details/129970099

版权

1.ELK概述

1.ELK 简介

2.filebeat结合logstash带来好处：

3.为什么是用ELK

4.完整日志系统基本特征

5.ELK 的工作原理

2.部署ELK

1.实验需求

2.ELK Elasticsearch 集群部署（在Node1、Node2节点上操作）

3.部署 Elasticsearch 软件

4.安装 Elasticsearch-head 插件

5.ELK Logstash 部署（在 Apache 节点上操作）

6.测试 Logstash（Apache）与elasticsearch（node）功能是否正常，做对接

7.定义 logstash配置文件

8.ELK Kiabana 部署（在 Node1 节点上操作）

1.ELK概述

1.ELK 简介

ELK平台是一套完整的日志集中处理解决方案，将elasticsearch、logstash和kiabana三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求。

ELK --> ELFK --> ELFK+MQ

1.elasticsearch ：是基于lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。

elasticsearch：是用java开发的，可以通过restful web 接口，让用户可以通过浏览器和elasticsearch通信。
elasticsearch 是一个实时的、分布式的可扩展的搜索引擎，运行进行全文、结构化搜索，他通常用于索引和搜索大容量的日志数据，也可以用于搜索许多不同类型的文档。

2.kibana：kibana通常与elasticsearch一起部署，kibana是elasticsearch的一个功能强大的数据可视化 dashboard，kibana提供图形化的web界面来浏览elasticsearch日志数据，可以用来汇总、分析和搜索重要数据。

3.Kibana主要功能

（1）Elasticsearch无缝之集成

（2）整合数据，复杂数据分析

（3）让更多团队成员收益

（4）接口灵活，分享更容易

（5）配置简单、可视化多数据源

（6）简单数据导出

logstash：作为数据收集引擎。它支持动态的从各种数据源收集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置，一般会发送给elasticsearch。

logstash由Ruby语言编写，运行在java虚拟机（JVM）上，是一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出。logstash具有强大的插件功能，常用于日志处理。
fluentd：是一个流行的开源数据收集器。由于logstash太重量级的缺点，logstash性能低，logstash性能低、资源消耗比较多等问题，随后就有fluented的出现。

4.可以添加的其他组件
filebeat: 轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装filebeat，并指定目录与日志格式，filebeat就能快速收集数据，并发送给logstash进行解析，或是直接发给elasticsearch存储，性能上相比运行与JVM上的logstash优势显示，是对它的替代。常应用于EFLK架构当中。