ELK日志分析系统部署

1、ELK日志分析系统概述

■ 日志服务器
● 提高安全性
● 集中存放日志
● 缺陷
◆ 对日志的分析困难

■ ELK日志分析系统
● Elasticsearch
● Logstash
● Kibana

■ 日志处理步骤
● 将日志进行集中化管理
因为es拥有前端和后端所有集群的数据信息，对于es来说就是集中化管理，不需要每一台去收集,Logstash回去收集信息，只需管理和 Logstash对接的日志数据源就可以
● 将日志格式化(Logstash) 并输出到Elasticsearch
格式化的目的：是为了输出为一个标准可用的模式
● 对格式化后的数据进行索引和存储( Elasticsearch)
非常强大的索引，百度和谷歌都用这个搜索引擎
● 前端数据的展示( Kibana)

1.2、Elasticsearch介绍（索引数据库）

■ Elasticsearch的概述
● 提供了一个分布式多用户能力的全文搜索引擎
● 搜索引擎效率高是因为有分片和副本机制

■ Elasticsearch核心概念

● 接近实时
lasticsearch是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)
● 集群
一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据,并一起提供索引和搜索功能。其中一个节点为主节点,这个主节点是可以通过选举产性的，并提供跨节点的联合索引和搜索的功能。集群有一 个唯一性标示的名字，默认是elasticsearch,集群名字很重要，每个节点是基于集群名字加入到其集群中的。因此,确保在不同环境中使用不同的集群名字。一个集群可以只有一个节点。强烈建议在配置elasticsearch时， 配置成集群模式。
◆ es具有集群机制，节点通过集群名称加入到集群中，同时在集群中的节点会有一个自己的唯一身份标识
● 节点
节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能。像集群一样,节点也是通过名字来标识，默认是在节点启动时随机分配的字符名。当然，你可以自己定义。该名字也很重要,在集群中用于识别服务器对应的节点。节点可以通过指定集群名字来加入到集群中。默认情况,每个节点被设置成加入到elasticsearch集群。如果启动了多个节点，假设能自动发现对方，他们将会自动组建一个名为elasticsearch的集群。
● 索引
索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引， 另一个产品目录的索引,还有一个订单数据的索引。一个索引由一个名字来标识(必须全部是小写字母的)，并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。在一个集群中，如果你想，可以定义任意多的索引。
◆ 索引相对于关系型数据库的库。
◆ 索引(库)→类型(表)→文档(记录)
● 索引对应的类型(type)
会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一 个类型，当然，也可以为评论数据定义另一个类型。
◆ 类型相对于关系型数据库的表
● 文档(document)
一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档， 某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以SON (Javascript Object Notation)格式来表示，而JSON是一个到处存在的互联网数据交互格式。
在一个index/type里面，只要你想，你可以存储任意多的文档。注意,虽然一个文档在物理上位于一个索引中， 实际上一个文档必须在一个索引内被索引和分配一个类型。
◆ 文档相对于关系型数据库的列。
● 分片和副本
在实际情况下，索引存储的数据可能超过单个节点的硬件限制。如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上,或者从单个节点搜索请求太慢了。为了解决这个问题，elasticsearch提供将索引分成多个分片的功能。当在创建索引时,可以定义想要分片的数量。每一个分片就是一个全功能的独立的索引，可以位于集群中任何节点上。
● 分片的两个最主要原因:
a.水平分割扩展,增大存储量
b.分布式并行跨分片操作,提高性能和吞吐量
分布式分片的机制和搜索请求的文档如何汇总完全是有elasticsearch控制的， 这些对用户而言是透明的。
小结：网络问题等等其它问题可以在任何时候不期而至，为了健壮性,强烈建议要有一个故障切换机制， 无论何种故障以防止分片或者节点不可用。为此，elasticsearch让我们将索引分片复制一份或多份,称之为分片副本或副本。
● 副本也有两个最主要原因:
a.高可用性,以应对分片或者节点故障。出于这个原因，分片副本要在不同的节点上。
b. 增大吞吐量,搜索可以并行在所有副本上执行。

总结：
总之，每个索引可以被分成多个分片。一个索引也可以被复制0次(意思是没有复制)或多次。一旦复制了，每个索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分片和副本的数量可以在索引创建的时候指定。在索引创建之后,你可以在任何时候动态地改变副本的数量，但是你事后不能改变分片的数量

1.3、Logstash介绍

■ Logstash介绍
● 一款强大的数据处理工具
● 可实现数据传输、格式处理、格式化输出
● 数据输入、数据加工(如过滤，改写等)以及数据输出

小结：Logstash由JRuby语言编写， 基于消息(message based) 的简单架构，并运行在Java虚拟机(JVM)上。不同于分离的代理端(agent)或主机端(server) ，LogStash可配置单一的代理端(agent) 与其它开源软件结合，以实现不同的功能

■ LogStash主要组件
● Shipper: 日志收集者。负责监控本地日志文件的变化,及时把日志文件的最新内容收集起来。通常，远程代理端(agent) 只需要运行这个组件即可
● Indexer: 日志存储者。负责接收日志并写入到本地文件。
● Broker: 日志Hub。负责连接多个Shipper和多个Indexer
● Search and Storage:允许对事件进行搜索和存储;
● Web Interface:基于Web的展示界面

小结：正是由于以上组件在LogStash架构中可独立部署,才提供了更好的集群扩展性

1.4、Kibana介绍

■ Kibana介绍
● 一个针对Elasticsearch的开源分析及可视化平台
● 搜索、查看存储在Elasticsearch索引中的数据
● 通过各种图表进行高级数据分析及展示

■ Kibana主要功能
● Elasticsearch无缝之集成
● 整合数据，复杂数据分析
● 让更多团队成员受益
● 接口灵活，分享更容易
● 配置简单，可视化多数据源
● 简单数据导出

2、部署ELK日志分析系统

■ 案例拓扑

■ 需求描述

● 配置ELK日志分析群集
● 使用L ogstash收集日志
● 使用Kibana查看分析日志

■ 群集环境设备配置
node 1 :192.168.140.20
node 2: 192.168.140.30
apache:192.168.140.60

■ 部署步骤

2.1、进行主机重命名

[root@server6 ~]# hostnamectl set-hostname apache
[root@server6 ~]# su
[root@apache ~]# 
[root@server2 ~]# hostnamectl set-hostname node1
[root@server2 ~]# su
[root@node1 ~]# 
[root@server3 ~]# hostnamectl set-hostname node2
[root@server3 ~]# su
[root@node2 ~]# 

2.1.2、开启会话同步，关闭防火墙，配置域名解析

[root@node1 ~]# systemctl stop firewalld
[root@node1 ~]# setenforce 0
setenforce: SELinux is disabled
[root@node1 ~]# vim /etc/hosts

2.1.3、检查java环境

[root@node1 ~]# java -version      #检测Java的版本信息

2.2、关闭同步会话，部署elasticsearch软件

2.2.1、在/opt目录下安装elasticsearch-rpm包

[root@node1 ~]# cd /opt                #切换到opt目录下
[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm    #安装rpm包

2.2.2、加载系统服务

[root@node1 opt]# systemctl daemon-reload            #加载守护进程，让系统可以识别
[root@node1 opt]# systemctl enable elasticsearch.service  #设置开机自启动
[root@node1 opt]# cd /etc/elasticsearch/
[root@node1 elasticsearch]# ls           #查看主配置文件

[root@node1 elasticsearch]# cp elasticsearch.yml elasticsearch.yml.bak     #备份主配置文件
[root@node1 elasticsearch]# ls -lh

[root@node1 elasticsearch]# vim elasticsearch.yml    #修改配置文件（去除要修改项前的#）
17/ cluster.name: my-elk-cluster                    ####集群名字
23/ node.name: node1                                     ####节点名字
33/</