ELK日志

1.ELK日志分析系统简介

1.日志服务器

​ 提高安全性; 集中存放日志; 缺陷：对日志分析困难

2.ELK日志分析系统

Elasticsearch; Logstash; Kibana

3.日志处理步骤

将日志进行集中化管理 将日志格式化（Logstash）并输出到（Elasticsearch) ;对格式化后的数据进行索引和存储（Elasticsearch）; 前端数据的展示（Kibana）

2.Elasticsearch介绍

Elasticsearch的概述

​ 提供了一个分布式多用户能力的全文搜索引擎

Elasticsearch核心概念

​ 接近实时

​ 集群

​ 节点

​ 索引

​ 索引（库）—>类型（表）—>文档（记录）

​ 分片和副本

3.Logstash介绍

Logstash介绍

一款强大的数据处理工具

可实现数据传输、格式处理、格式化输出

数据输入、数据加工（如过滤、改写等）以及数据输出

LogStash主要组件

Shipper //日志收集者。负责监控本地日志文件的变化，即时收集最新的日志文件内容

Indexer //日志存储者。负责接收日志并写入到本地文件

Broker //日志Hub。负责连接多个Shipper和多个Indexer

Search and Storage //允许对事件进行搜索和存储

Web Interface //基于Web的展示界面

//在Logstash中，包括了三个阶段，分别是输入（Input）、处理（Filter，非必需）和输出（Output）

4.Kibana介绍

Kibana介绍

​ 一个针对Elasticsearch的开源分析及可视化平台

​ 搜索、查看存储在Elasticsearch索引中的数据

​ 通过各种图表进行高级数据分析及展示

Kibana主要功能

​ Elasticsearch无缝之集成

​ 整合数据，复杂数据分析

​ 让更多团队成员受益

​ 接口灵活，分享更容易

​ 配置简单，可视化多数据源

​ 简单数据导出

5.部署ELK日志分析系统

​ 困境

1：开发人员不能登录线上服务器查看日志

2：各个系统都有日志，日志分散难以查找

3：日志数据量大，查找慢，数据不够实时

Elastic Search 分布式搜索引擎

LogStash 日志收集

Kibana 日志展示

6.案列

部署Elasticsearch

1.yum安装Elasticsearch（192.168.106.190；192.168.106.200）

[root@elk-1 ~]# rpm --