ELK日志分析概述+实际部署图文超详细步骤（整理了几天）！！！

前言

在现网环境下，面对多台服务器产生的大量日志，会给我们运维人员产生大量困难，面对日志量太大如何归档、搜索定位过慢、多维度查询、集中化管理等多个困难，常见解决方案是集中日志收集，将所有节点的日志统一收集、管理、访问。而日志服务器对日志的分析较为困难，因此ELK的日志分析系统的模式就是我们常见的解决方案。

一、ELK日志分析系统

ELK是由Elasticsearch、Logstash、Kiban三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。

1.ELK的组成（Elasticsearch、Logstash、Kibana）

• ELK是由Elasticsearch、Logstash、Kiban三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。

2.ELK 日志分析系统的处理步骤

• 1正常的appserver 产生大量日志，
• 2 Logstash 收集日志
• 3 Logstash对数据进行格式化处理，保证所有的数据类型为统一类型
• 4 发送给ES索引数据库进行处理，索引和存储创建完后发给kibana
• 5.借助kibana 对数据进行图表化前端展示

3.Elasticsearch组件简介

Elasticsearch是一个基于Lucene的搜索服务器。它基于RESTful web接口提供了一个分布式多用户能力的全文搜索引擎。
Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

（1）接近实时（NRT）

Elaisticsearch是一个接近实时的搜索平台，这意味着，
从索引一个文档直到这个文件能够被搜索到有一个轻微的延迟（通常是1秒）

（2）集群机制

一个集群就是由一个或多个节点组织在一起，它们共同持有你整个数据，并一起提供索引和搜索功能。
其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能。
集群有一个唯一性标示的名字，默认是elasticsearch，一个集群可以只有一个节点。
强烈建议在配置elasticsearch时，配置成集群模式。
ES具有集群机制，节点通过集群名称加入到集群中。
同时在集群中的节点会有一个自己的唯一身份标识(自己的名称)。

（3）索引

一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引的文档进行索引、搜索、更新、删除时，都要使用到这个名字。在一个集群中，如果你想，可以定义任意多的索引。
索引相对于关系型数据库的库

索引（库）–>类型（表）–>文档（记录）

（4）类型

在一个索引中，可以定义一种或多种。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你定义。通常会为具有一组共同字段的文档定义为一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型
类型相对于关系型数据库的表

（5）文档

一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，也可以拥有某个订单的一个文档。文档以JSON（Javascript Object Notation）格式来表示，而JSON是一个到处存在的互联网数据交互格式。
在一个Index/type里面，可以存储任意多的文档。虽然一个文档在物理上位于一个索引中，时加上一个文档必须在一个索引内被索引和分配一个类型。

（6）分片与副本（shard&replicas）

在实际情况下，索引存储的数据可能超过单个节点的硬件限制。如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上，或者从单个节点搜索请求太慢了。为解决这个问题，elasticsearch提供将索引分成多个分片的功能。当创建索引时，可以定义想要分片的数量。每一个分片就是一个全功能的独立索引，可以位于集群中的任何节点上。
分片的两个主要原因：
水平分割扩展，增大存储量
分布式并行跨分片操作，提高性能和吞吐量

分布式分片的机制和搜索请求的文档如何汇总完全是有elasticsearch控制的，这些对用户而言是透明的。
网络问题等等其它问题可以在任何时候不期而至，为了健壮性，强烈建议要有一个故障切换机制，无论何种故障以防止分片或者节点不可用。
为此，elasticsearch让我们将索引分片复制一 份或多份，称之为分片副本或副本。

●副本也有两个最主要原因：
a、高可用性，以应对分片或者节点故障。出于这个原因，分片副本要在不同的节点上。
b、xxx能，增大吞吐量，搜索可以并行在所有副本上执行。

总之，每个索引可以被分成多个分片。一个索引也可以被复制0次(意思是没有复制)或多次。一旦复制了，每个索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分月和副本的数量可以在索引创建的时候指定。在索引创建之后，你可以在任何时候动态地改变副本的数量，但是你事后不能改变分片的数量。
默认情况下，Elasticsearch中的每 个索引被分片5个主分片和1个副本，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个副本分片(1个完全拷贝)， 这样的话每个索引总共就有10个分片。

4.Logstash主要组件

（1）简介

一款强大的数据处理工具。Logstash由JRuby语言编写，基于消息(message based)的简单架构，并运行在Java虚拟机(JVM)上。 不同于分离的代理端(agent)或主机端(server) ，LogStash可配置单一的代理端(agent) 与其它开源软件结合，以实现不同的功能。

（2）组件作用

• Inputplugin：实现数据传输（数据输入）
• Filterplugin：实现格式处理（数据加工(如过滤，改写等)）
• Outputplugin：实现格式化输出（数据输出）
  

5.Kibana组件

（1）Kibana组件简介

一个针对Elasticsearch的开源分析及可视化平台。搜索、查看存储在Elasticsearch索引中的数据。通过各种图表进行高级数据分析及展示

（2）Kibana组件功能

• Elasticsearch无缝之集成
• 整合数据，复杂数据分析
• 让更多团队成员收益
• 接口灵活，分享更容易
• 配置简单、可视化多数据源
• 简单数据导出

二、ELK部署前期准备

1.部署环境地址（各个服务器IP地址）

主机名称	操作系统	IP地址	安装包
node1	CentOS7.6	内网：192.168.40.80	Elasticsearch/Kibana
node2	CentOS7.6	内网：192.168.40.81	Elasticsearch
apache	CentOS7.6	内网：192.168.40.88	httpd / Logstash
宿主机	windows10	192.168.40.1	/

2.在 所有服务器上关闭防火墙和核心防护。

3.修改所有服务器的名字

因为集群是根据服务器名字进行映射的，所以这里所有的名字得正确

三、正式部署

相关软件包

1.配置elasticsearch环境（node1 和node2上都要部署）

node1（192.168.40.80）
node2（192.168.40.81）

echo "192.168.40.80 node1" >> /etc/hosts
echo "192.168.40.81 node2" >> /etc/hosts

java -version
cd /opt/
tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/ &> /dev/null

cd /usr/local/
mv jdk1.8.0_91/ jdk
vim /etc/profile
#把这个路径放到最下面
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=