ELK日志分析系统（ELasticsearch+Logstash+Kibana）——理论+实例

一、ELK日志分析系统简介

日志分析是运维工程师解决系统故障，发现问题的主要手段。日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因,经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
日志是一个非常庞大的数据，并且常常被分散在不同的设备上，这样排查问题的时候找日志就非常繁琐困难。
这时，一个专门处理日志的系统就非常必要，这里介绍其中的一种，ELK日志分析系统（ELasticsearch+Logstash+Kibana）

日志服务器

• 提高安全性
• 集中存放日志
• 缺陷：对日志分析困难

ELK日志分析系统

1.将日志进行集中化管理
2.将日志格式化(logstash)
3.对格式化后的数据进行索引和存储(elasticsearch)
4.前端数据的展示（Kibana）
5.用户通过自己的显示设备访问Kibana页面查看

二、 Elasticsearch介绍

■ Elasticsearch的概述

• 提供了一个分布式多用户能力的全文搜索引擎

■ Elasticsearch核心概念

• 接近实时
• 集群
• 节点
• 索引
  ◆索引（库）> 类型（表）> 文档（记录）
• 分片和副本

三、Logstash介绍

■ Logstash介绍

• 一款强大的数据处理工具
• 可实现数据传输、格式处理、格式化输出
• 数据输入、数据加工(如过滤，改写等)以及数据输出

■ LogStash主要组件·

• Shipper
• lndexer
• Broker
• Search and Storage
• Web Interface

四、Kibana介绍

■ Kibana介绍

• 一个针对Elasticsearch的开源分析及可视化平台
• 搜索、查看存储在Elasticsearch索引中的数据
• 通过各种图表进行高级数据分析及展示

■ Kibana主要功能

• Elasticsearch无缝之集成
• 整合数据，复杂数据分析
• 让更多团队成员受益
• 接口灵活，分享更容易
• 配置简单，可视化多数据源
• 简单数据导出

五、部署ELK日志分析系统

实验图示

需求：

• 配置ELK日志分析群集
• 使用logstash收集Apache日志信息
• 由elasticsearch存储和建立索引
• 使用Kibana查看分析日志

5.1配置elasticsearch环境

node1与node2除了节点名和主机名分别为node1和node2，其他配置都一样，这里以node1为例

[root@localhost ~]# hostnamectl set-hostname node1   ###更改主机名为node1
[root@localhost ~]# su      ###刷新

[root@node1 ~]#  vi /etc/hosts    ###映射一下主机名和ip地址
20.0.0.24 node1
20.0.0.25 node2

[root@node1 ~]# java -version      ###查看java版本，图形化界面自带j
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)

##Xshell直接拉取 把elasticsearch-5.5.0.rpm 传进去
[root@node1 ~]# rpm -ivh elasticsearch-5.5.0.rpm  ## rpm包直接安装
[root@node1 ~]# systemctl daemon-reload  ## 重载系统参数
[root@node1 ~]# systemctl enable elasticsearch.service  ## 设置开机自启

[root@node1 ~]# cd /etc/elasticsearch/
[root@node1 elasticsearch]# ls
elasticsearch.yml        log4j2.properties            jvm.options        scripts
[root@node1 elasticsearch]# cp -p  elasticsearch.yml elasticsearch.yml.bak   ## 先把原配置文件做一下备份，再修改配置文件

更改配置文件，：set nu显示行号，以下为对应行号修改的内容

[root@node1 elasticsearch]# vim elasticsearch.yml
17： cluster.name: my-elk-cluster  ## 集群名称
23： node.name: node1  ## 当前节点名
33： path.data: /data/elk_data   ## 数据存储的位置（目录不存在，需要创建）
37： path.logs: /var/log/elasticsearch/  ## 日志文件存放的位置（软件自带，不需要创建）
43： bootstrap.memory_lock: false 
 ## true：允许内存中的数据交还给SWAP，flase：不允许内存中的数据交还给SWAP。
 选择false，因为swap分区实在硬盘上建立的，如果内存不够，数据溢出，分到硬盘上的话，会影响速度
55： network.host: 0.0.0.0   ## 监听地址，0.0.0.0表示所有网段
59： http.port: 9200   ## ES端口号，外部通信的端口号   PS：9300是集群内部通信端口
68： discovery.zen.ping.unicast.hosts: ["node1", "node2"]   ## 群集中包含的节点名

开启服务

[root@node1 elasticsearch]# mkdir -p /data/elk_data  ## 创建数据存放目录
[root@node1 elasticsearch]# id elasticsearch            ## ES的程序用户，安装的时候自动创建的用户
uid<