ELK日志分析系统简介

日志服务器

提高安全性

集中存放日志

缺陷

​ 对日志的分析困难

ELK日志分析系统

Elasticsearch

概述:提供了一个分布式多用户能力的全文搜索引擎

核心概念

接近实时

集群

节点

索引

​ 索引(库)---->类型(表)---->文档(记录)

分片和副本

Logstash

概述：一款强大的数据处理工具

可实现数据传输、格式处理、格式化输出

数据输入、数据加工（过滤、改写等）以及数据输出

主要组件（数据输入 数据加工 数据输出）

Kibana

概述:一个针对Elasticsearch的开源分析及可视化平台

搜素、查看存储在Elasticsearch索引中的数据

通过各种图标进行高级数据分析及展示

Kibana主要功能

Eibana主要功能

Elasticsearch无缝之集成

整合数据，复杂数据分析

让更多团队成员收益

接口灵活，分享更容易

配置简单，可视化多数据源

简单数据导出

logsttash主要组件

Shipper：日志收集

Indexer：

Broker

Search and Storage

Web Interface

Kibana

定义：一个针对Elasticsearch的开源分析及可视化平台搜索、查看存储在Elasticsearch索引中的数据通过各种图表进行高级数据分析及展示
主要功能

.Elasticsearch无缝之集成

整合数据，复杂数据分析·

让更多团队成员受益

接口灵活，分享更容易配置简单，可视化多数据源

简单数据导出

日志处理步骤

1.将日志进行集中化管理

2.将日志格式化（Logstash）并输出到Elasticsearch

3.对格式化后数据进行索引和存储（Elasticsearch）

4.前端数据的展示（Kibana）

完整日志系统基本特征

收集:能够采集多种来源的日志数据

传输:能够稳定的把日志数据解析过滤并传输到存储系统

存储:存储日志数据

分析:支持UI分析

警告:能够提供错误报告，监控机制

ELK的工作原理

(1）在所有需要收集日志的服务器上部署Logstash，或者先将日志进行集中化管理在日志服务器上，在日志服务器上部著Logstash。

( 2) Logstash收集日志，将日志格式化并输出到Elasticsearch群集中。

(3）Elasticsearch对格式化后的数据进行索引和存储。

(4)Kibana从es群集中查询数据生成图表，并进行前端数据的展示.

input数据采集

output数据输出

filter数据过滤

前端打包node.js

后端打包
es群集中查询数据生成图表，并进行前端数据的展示.

input数据采集

output数据输出

filter数据过滤

[外链图片转存中…(img-uCn9IyxO-1691323122402)]

前端打包node.js

后端打包