ELK日志分析系统

目录

前言

一、ELK日志分析系统简介

1、日志处理的步骤

2、ELK日志分析系统三部分

3、日志服务器

二、Elasticsearch介绍

1、Elasticsearch概述

2、Elasticsearch的概念

3、采用分片

4、开启分片副本的主要原因

三、Logstash介绍

1、Logstash概述

2、Logstash主要组件

四、Kibana介绍

1、Kibana概述

2、Kibana主要功能

五、配置ELK步骤

1、关防火墙和系统安全机制

2、配置elasticsearch环境（在node1和node2上）

3、部署elasticsearch软件（在node1和node2上）

3、安装elasticsearch-head插件

4、安装logstash（在apache节点上）

5、安装kibana（在node1节点上）

 总结

---

前言

在规模较大的企业场景中，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。所以企业中都会建立日志服务器，调高安全性、集中化管理，但是相应的大量的日志文件导致对日志分析困难。而今天介绍的ELK就是为了解决这一问题。

一、ELK日志分析系统简介

1、日志处理的步骤

（1）将APP servers的日志进行集中化管理到Logstash agent。

（2）将日志格式化（Logstash）并输出到Elasticsearch cluster。

（3）对格式化后的数据进行索引和存储（Elasticsearch）。

（4）前端数据的展示（Kibana）。

（5）可以在线查看界面化展示。

2、ELK日志分析系统三部分

（1）ELK是由Elasticsearch、Logstash、Kiban三个开源软件的组合。

（2）Logstash 收集APP server产生的log，然后存放到Elasticsearch集群节点中，kibana从Elasticsearch集群节点中查询数据生成图表，再返回给Brower。

APPServer集群→logstash Agent采集器→ElasticSearch Cluster→Kibana Server→Browser

3、日志服务器

（1）提高安全性

（2）集中存放日志（缺陷：对日志的分析困难）

二、Elasticsearch介绍

1、Elasticsearch概述</