ELK日志分析系统——超详细的理实验——你想要的这里都有！

一、ELK日志分析系统简介

1.1 ELK日志分析系统简介-1

■ 日志服务器

• 提高安全性

• 集中存放日志

• 缺陷
  ◆ 对日志的分析困难

• AppServer：提供业务（前端的业务）

• Logstash：日志收集器，可以格式转换成ES可以识别的格式！！！

• Elastic Search （必须是集群Cluster）：通过kafka（消息队列），有效、有序的传递给Kibana Server。ES后面挂的是分布式存储，在这里是中央枢纽的作用
  

1.2 ELK日志分析系统简介-2

■ ELK日志分析系统-

• Elasticsearch
• Logstash
• Kibana

■ 日志处理步骤
1.将日志进行集中化管理
2.将日志格式化(Logstash)并输出到Elasticsearch
3.对格式化后的数据进行索引和存储(Elasticsearch)

二、Elasticesarch介绍

■ Elasticsearch的概述

• 提供了一个分布式多用户能力的全文搜索引擎
  ■ Elasticsearch核心概念
• 接近实时
• 集群
• 节点
• 索引
  ◆索引（库）> 类型（表）> 文档（记录）
• 分片和副本

三、Logstash介绍

■ Logstash介绍

• 一款强大的数据处理工具
• 可实现数据传输、格式处理、格式化输出
• 数据输入、数据加工(如过滤，改写等)以及数据输出

■ LogStash主要组件·

• Shipper
• lndexer
• Broker
• Search and Storage
• Web Interface

四、Kibana介绍

■ Kibana介绍

• 一个针对Elasticsearch的开源分析及可视化平台
• 搜索、查看存储在Elasticsearch索引中的数据
• 通过各种图表进行高级数据分析及展示

■ Kibana主要功能

• Elasticsearch无缝之集成
• 整合数据，复杂数据分析
• 让更多团队成员受益
• 接口灵活，分享更容易
• 配置简单，可视化多数据源
• 简单数据导出

五、部署ELK日志分析系统

■ 设备列表

主机                        操作系统                         主机名                   ip地址               主要软件
服务器                     Centos7.4                     node1                   20.0.0.27           Elasticsearch   Kibana
服务器                     Centos7.4                     node2                   20.0.0.26           Elasticsearch   
服务器                     Centos7.4                     apache                  20.0.0.25           Logatash Apache

【开局必做操作！】
[root@node1 ~]# systemctl stop firewalld         ###关闭防火墙
[root@node1 ~]# systemctl disable firewalld    ###关闭自启动
[root@node1 ~]# vim /etc/selinux/config         ###关闭核心防护
SELINUX=disabled                                               ###设置成disabled

• 【配置elasticsearch环境】

节点1服务器

######登录20.0.0.27  节点服务器   更改主机名  配置域名解析查看java环境  #############
[root@localhost ~]# hostnamectl set-hostname node1   ###更改主机名为node1
[root@localhost ~]# su      ###刷新

[root@node1 ~]#  vi /etc/hosts    ###映射一下主机名和ip地址
20.0.0.27 node1
20.0.0.26 node2

[root@node1 ~]# java -version      ###查看java版本，如果装系统的时候装过工具包
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)

## 把elasticsearch-5.5.0.rpm 传进去
[root@node1 ~]# rpm -ivh elasticsearch-5.5.0.rpm  ## 进行解压
[root@node1 ~]# systemctl daemon-reload  ## 重载系统参数
[root@node1 ~]# systemctl enable elasticsearch.service  ## 设置开机自启

[root@node1 ~]# cd /etc/elasticsearch/
[root@node1 elasticsearch]# ls
elasticsearch.yml        log4j2.properties            jvm.options        scripts
[root@node1 elasticsearch]# cp -p  elasticsearch.yml elasticsearch.yml.bak   ## 这里把原配置文件做一下备份

• 更改elasticsearch主配置文件

[root@node1 elasticsearch]# vim elasticsearch.yml
17： cluster.name: my-elk-cluster  ## 集群名称
23： node.name: node1  ## 节点 1 的名称
33： path.data: /data/elk_data   ## 数据存储的位置
37： path.logs: /var/log/elasticsearch/  ## 日志文件存放的位置
43： bootstrap.memory_lock: false  ## true：允许内存中的数据交还给SWAP，flase：不允许内存中的数据交还给SWAP。
							         选择false，因为swap分区实在硬盘上建立的，如果分到硬盘上的话，会影响速度
55： network.host: 0.0.0.0   ## 监听地址，0.0.0.0表示所有网段
59： http.port: 9200   ## ES端口号，外部通信的端口号   PS：9300是集群内部通信端口
68： discovery.zen.ping.unicast.hosts: ["node1", "node2"]   ## 刚才定义的节点名称
==》》 wq

[root@node1 elasticsearch]# mkdir -p /data/elk_data  ## 创建数据存放目录
[root@node1 elasticsearch]# id elasticsearch            ## 这个用户专门管理ES的，安装的时候自动创建的用户
uid=990(elasticsearch) gid=985(elasticsearch) 组=985(elasticsearch)
[root@node1 elasticsearch]# chown elasticsearch:elasticsearch /data/elk_data/    ## 所以这里要给授权，给用户去管理
[root@node1 elasticsearch]# ll /data/
总用量 0
drwxr-xr-x. 2 elasticsearch elasticsearch 6 10月 28 13:40 elk_data

[root@node1 elasticsearch]# systemctl start elasticsearch.service   ## 开启服务
[root@node1 elasticsearch