部署ELK日志分析系统多ElasticSearch集群

目录

 

一.案例背景

二.ELK日志分析系统概述

三.部署ELK日志分析系统集群

环境分析

配置基础环境

部署elasticsearch软件（node1和node2都需要安装）

部署elasticsearch-head插件（node1和node2都需要安装）

创建elasticsearch索引

部署Logstash（Apache服务器上部署）

部署kilbana（node1上部署）

---

一.案例背景

• 通常服务器产生的日志信息都存储再计算机本地，当使用多服务器做集群时，日志也会被分散存储到不同的服务器上，分别去查阅这些日志信息，不但繁琐而且效率低下。
• 最好的办法就是将所有日志集中存储到一台服务器桑统一管理和查阅，这就是集中化的日志管理方式。
• 集中化日志管理之后，另外一件比较麻烦的事情就是日志的统计和检索。一般使用grep、awk、sed、wc等命令就能是实现检索和统计操作。但是面对庞大的机器数量，面对更高的查询、排序、统计，使用简单的Linux命令就比较麻烦。
• 于是开源的实时日志分析ELK平台能够解决上述问题。

二.ELK日志分析系统概述

ELK简述

• ELK是一套完整的日志解决方案，由ElasticSearch、Logstash、Kibana这三款开源软件组成。
• ElasticSearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。
• Logstash 是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。
• Klbana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。

ELK经典架构工作原理

1. Logstash部署至服务主机，对各个服务的日志进行采集、过滤、推送。

2. Elasticsearch存储Logstash传送的结构化数据，提供给Kibana。

3. Kibana提供用户UIweb页面进行，数据展示和分析形成图表等。

4. logs 泛指，各种日志文件以及日志信息：windows，negix，tomcat，webserver等等。

• 在所有需要收集日志的服务器上部署Logstash，作为Logstash agent用于监控并且过滤所收集到的日志，将过滤后的日志内容整合在一起，最终全部交给Elasticsearch检索引擎；可以用ElasticSearch进行自定义搜索，再通过Kibana结合自定义搜索内容生成图表；进行日志数据展示。

Logstash的工作过程

• 日志数据到达Logstash的Input后，会按行发送给Filter进行处理，处理完成后会把数据交给Output，Output写入到ElasticSearch。Filter是可选项，是一个行处理机制，作用是将提供未格式化的数据整理成需要的数据，也可以不做任何处理直接把源数据库传送给Output

Logstash由input、filter和output三部分组成，

input负责从数据源提取数据，

filter负责解析、处理数据，

output负责输出数据，每部分都有提供丰富的插件。

Elasticsearch基础概念

• NRT（接近实时）：lasticsearch是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）。

• cluster（集群）：一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能。集群有一个唯一性标示的名字，默认是elasticsearch，集群名字很重要，每个节点是基于集群名字加入到其集群中的。因此，确保在不同环境中使用不同的集群名字。一个集群可以只有一个节点。强烈建议在配置elasticsearch时，配置成集群模式。

• node（节点）：节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能。像集群一样，节点也是通过名字来标识，默认是在节点启动时随机分配的字符名。当然，你可以自己定义。该名字也很重要，在集群中用于识别服务器对应的节点。节点可以通过指定集群名字来加入到集群中。默认情况，每个节点被设置成加入到elasticsearch集群。如果启动了多个节点，假设能自动发现对方，他们将会自动组建一个名为elasticsearch的集群。

• index（索引）：一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。在一个集群中，如果你想，可以定义任意多的索引。

• type（类型）：在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。
  在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可以为评论数据定义另一个类型。

• document（文档）:一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以JSON（Javascript Object Notation）格式来表示，而JSON是一个到处存在的互联网数据交互格式。在一个index/type里面，只要你想，你可以存储任意多的文档。注意，虽然一个文档在物理上位于一个索引中，实际上一个文档必须在一个索引内被索引和分配一个类型。

• shards（分片）:在实际情况下，索引存储的数据可能超过单个节点的硬件限制。如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上，或者从单个节点搜索请求太慢了。为了解决这个问题，elasticsearch提供将索引分成多个分片的功能。当在创建索引时，可以定义想要分片的数量。每一个分片就是一个全功能的独立的索引，可以位于集群中任何节点上。分片的好处在于水平分割扩展，增大存储量；分布式并行跨分片操作，提高性能和吞吐量

• replicas（副本）：分布式分片的机制和搜索请求的文档如何汇总完全是有elasticsearch控制的，这些对用户而言是透明的。
  网络问题等等其它问题可以在任何时候不期而至，为了健壮性，强烈建议要有一个故障切换机制，无论何种故障以防止分片或者节点不可用。 为此，elasticsearch让我们将索引分片复制一份或多份，称之为分片副本或副本。副本的好处在于高可用性，高性能

三.部署ELK日志分析系统集群

环境分析

角色	IP地址	主要软件
node1	192.168.43.101	Elasticsearch、Kibana
node2	192.168.43.102	Elasticsearch
Apache	192.168.43.103	Logstash

以下安装过程中所用到的rpm和tar.gz软件包的路径：

链接：https://pan.baidu.com/s/1juvA7-8jjVDPMGe5N0Q5iQ 
提取码：isu1

配置基础环境

• 配置主机名

hostnamectl set-hostanme node1   ##192.168.43.101
hostnamectl set-hostname node2   ##192.168.43.102
hostnamectl set-hostname apache  ##192.168.43.103

• 关闭防火墙和SElinux安全性功能

systemctl stop firewalld
setenforce 0

• 在node1和node2中做地址映射

vi /etc/hosts
node1    192.168.43.101
node2    192.168.43.102

部署elasticsearch软件（node1和node2都需要安装）

• 配置node1

1、安装elasticsearch—rpm包
上传elasticsearch-5.5.0.rpm到/opt目录下
[root@node1 ~]# cd /opt
[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm    ##解压数据包

2、加载系统服务
[root@node1 opt]# systemctl daemon-reload    
[root@node1 opt]# systemctl enable elasticsearch.service    ##永久启动elasticsearch服务

3、更改elasticsearch主配置文件
[root@node1 opt]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
[root@node1 opt]#  vi /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster                   ####集群名字
node.name: node1                                  ####节点名字
path.data: /data/elk_data                        ####数据存放路径
path.logs: /var/log/elasticsearch/           ####日志存放路径
bootstrap.memory_lock: false                 ####不在启动的时候锁定内存
network.host: 0.0.0.0                               ####提供服务绑定的IP地址，0.0.0.0代表所有地址
http.port: 9200                                        ####侦听端口为9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]           ####集群发现通过单播实现

[root@node1 opt]#  grep -v "^#" /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

4、创建数据存放路径并授权
[root@node1 ~]# mkdir -p /data/elk_data
[root@node1 ~]# chown elasticsearch:elasticsearch /data/elk_data/    ##设置日志文件的属性

5、启动elasticsearch是否成功开启
[root@node1 ~]# systemctl start elasticsearch.service 
[root@node1 ~]# netstat -natp | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      37295/java          
[root@node1 ~]# 

• 配置node2

1、安装elasticsearch—rpm包
上传elasticsearch-5.5.0.rpm到/opt目录下
[root@node2 ~]# cd /opt
[root@node2 opt]# rpm -ivh elasticsearch-5.5.0.rpm 

2、加载系统服务
[root@node2 opt]# systemctl daemon-reload    
[root@node2 opt]# systemctl enable elasticsearch.service 
Created symlink from /etc/systemd/system/multi-user.target.wants/elasticsearch.service to /usr/lib/systemd/system/elasticsearch.service.
[root@node2 opt]# 

3、更改elasticsearch主配置文件
[root@node2 opt]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
[root@node2 opt]#  vi /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster                   ####集群名字
node.name: node2                                  ####节点名字
path.data: /data/elk_data                        ####数据存放路径
path.logs: /var/log/elasticsearch/           ####数据存放路径
bootstrap.memory_lock: false                 ####不在启动的时候锁定内存
network.host: 0.0.0.0                               ####提供服务绑定的IP地址，0.0.0.0代表所有地址
http.port: 9200                                        ####侦听端口为9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]           ####集群发现通过单播实现

[root@node2 opt]#  grep -v "^#" /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster
node.name: node2
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

4、创建数据存放路径并授权
[root@node2 opt]# mkdir -p /data/elk_data
[root@node2 opt]# chown elasticsearch:elasticsearch /data/elk_data/

5、启动elasticsearch是否成功开启
[root@node2 ~]# systemctl start elasticsearch.service
[root@node2 ~]# netstat -natp | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      37334/java   

• 查看node1和node2的健康信息

• 查看集群状态信息

注：由于通过上面的信息查看elasticsearch的集群信息，比较麻烦，所以下面使用elastcsearch-head插件来视图化管理集群

部署elasticsearch-head插件（node1和node2都需要安装）

• 配置node1

上传node-v8.2.1.tar.gz到/opt
###编译安装node组件依赖包##耗时比较长
[root@node1 opt]#yum install gcc gcc-c++ make -y    ##安装编译工具
[root@node1 opt]# cd /opt
[root@node1 opt]# tar xzvf node-v8.2.1.tar.gz
[root@node1 opt]# cd node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure 
[root@node1 node-v8.2.1]# make
[root@node1 node-v8.2.1]# make install

####安装phantomjs####
上传软件包到/usr/local/src/
[root@node1 node-v8.2.1]# cd /usr/local/src/
[root@node1 src]# tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node1 src]# cd phantomjs-2.1.1-linux-x86_64/bin
[root@node1 bin]# cp phantomjs /usr/local/bin

###安装elasticsearch-head###
[root@node1 bin]# cd /usr/local/src/
[root@node1 src]# tar xzvf elasticsearch-head.tar.gz
[root@node1 src]# cd elasticsearch-head/
[root@node1 elasticsearch-head]# npm install

#####修改主配置文件###
[root@node1 ~]# cd ~
[root@node1 ~]# vi /etc/elasticsearch/elasticsearch.yml   ####下面配置文件，插末尾##
http.cors.enabled: true
http.cors.allow-origin: "*"
[root@node1t ~]# systemctl restart elasticsearch

####启动elasticsearch-head  启动服务器####
[root@node1 ~]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm run start &      ####切换到后台运行
[1] 114729
[root@node1 elasticsearch-head]# 
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100	##回车

[root@node1 ~]# netstat -lnupt | grep 9100
tcp        0      0 0.0.0.0:9100            0.0.0.0:*               LISTEN      83594/grunt         
[root@node1 ~]# netstat -lnupt | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      83509/java          

• 配置node2

上传node-v8.2.1.tar.gz到/opt
###编译安装node组件依赖包##耗时比较长
[root@node2 opt]# yum install -y gcc gcc-c++ make
[root@node2 opt]# tar xzvf node-v8.2.1.tar.gz
[root@node2 opt]# cd node-v8.2.1/
[root@node2 node-v8.2.1]# ./configure 
[root@node2 node-v8.2.1]# make
[root@node2 node-v8.2.1]# make install

####安装phantomjs####
上传软件包到/usr/local/src/
[root@node2 node-v8.2.1]# cd /usr/local/src/
[root@node2 src]# tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node2 src]# cd phantomjs-2.1.1-linux-x86_64/bin
[root@node2 bin]# cp phantomjs /usr/local/bin

###安装elasticsearch-head###
[root@node2 bin]# cd /usr/local/src/
[root@node2 src]# tar xzvf elasticsearch-head.tar.gz
[root@node2 src]# cd elasticsearch-head/
[root@node2 elasticsearch-head]# npm install

#####修改主配置文件###
[root@node2 ~]# cd ~
[root@node2 ~]# vi /etc/elasticsearch/elasticsearch.yml   ####下面配置文件，插末尾##
http.cors.enabled: true
http.cors.allow-origin: "*"
[root@localhost ~]# systemctl restart elasticsearch

####启动elasticsearch-head  启动服务器####
[root@node2 ~]# cd /usr/local/src/elasticsearch-head/
[root@node2 elasticsearch-head]# npm run start &      ####切换到后台运行
[1] 114729
[root@localhost elasticsearch-head]# 
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

[root@node2 elasticsearch-head]# netstat -lnupt |grep 9100
tcp        0      0 0.0.0.0:9100            0.0.0.0:*               LISTEN      83538/grunt         
[root@node2 elasticsearch-head]# netstat -lnupt |grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      83457/java          
[root@node2 elasticsearch-head]#  

• 在物理机上访问elasticsearch集群状态

创建elasticsearch索引

• 创建索引有两种方式
• 第一种，直接在web页面上创建

• 第二种使用命令创建索引

 ###索引名为 index-demo，类型为test
[root@node1 ~]# curl -XPUT '192.168.43.101:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'   
{
  "_index" : "index-demo",
  "_type" : "test",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "created" : true
}

部署Logstash（Apache服务器上部署）

• 部署apache服务，以及安装Logstash

1、安装Apahce服务（httpd）
[root@apache ~]# yum -y install httpd
[root@apache ~]# systemctl start httpd
2、安装Java环境
[root@apache ~]# java -version        ###如果没有装 安装yum -y install java
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)

3、安装logstash
上传logstash-5.5.1.rpm到/opt目录下
[root@apache ~]# cd /opt
[root@apache opt]# rpm -ivh logstash-5.5.1.rpm                                                  ##安装logstash
[root@apache opt]# systemctl start logstash.service                                              ##启动logstash
[root@apache opt]# systemctl enable logstash.service
[root@apache opt]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/   ##建立logstash软连接

4、logstash（Apache）与elasticsearch（node）功能是否正常，做对接测试####
Logstash这个命令测试
字段描述解释：
●	-f  通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
●	-e  后面跟着字符串 该字符串可以被当做logstash的配置（如果是” ”,则默认使用stdin做为输入、stdout作为输出）
●	-t  测试配置文件是否正确，然后退出



5、使用logstash将信息写入elasticsearch中#### 输入 输出 对接
###输入下列命令##
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.43.101:9200"] } }'
www.baidu.com                 ####需要输入www.baidu.com

• 在物理机上访问elasticsearch集群是否记录这个日志

• 使得Logstash与elasticsearch做对接设置

Logstash配置文件主要由三部分组成：input、output、filter（根据需要）

[root@apache opt]# chmod o+r /var/log/messages
[root@apache opt]# ll /var/log/messages
-rw----r--. 1 root root 572555 4月  16 23:50 /var/log/messages

[root@apache opt]# vi /etc/logstash/conf.d/system.conf 
input {
       file{
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
        }
      }
output {
        elasticsearch {
          hosts => ["192.168.43.101:9200"]
          index => "system-%{+YYYY.MM.dd}"
          }
        }
[root@apache conf.d]# cd

[root@apache ~]# systemctl restart logstash.service

• 登录192.168.43.101:9200，查看是否有system的索引

 

部署kilbana（node1上部署）

• 在node1主机安装kibana，提供日志分析功能

上传kibana-5.5.1-x86_64.rpm 到/usr/local/src目录
[root@node1 ~]# cd /usr/local/src/
[root@node1 src]# rpm -ivh kibana-5.5.1-x86_64.rpm
[root@node1 src]# cd /etc/kibana/
[root@node1 kibana]# cp kibana.yml kibana.yml.bak
[root@node1 kibana]# vi kibana.yml
server.port: 5601                #### kibana打开的端口
server.host: "0.0.0.0"           ####kibana侦听的地址
elasticsearch.url: "http://192.168.43.101:9200"             ###和elasticsearch建立联系
kibana.index: ".kibana"              ####在elasticsearch中添加.kibana索引
[root@node1 kibana]# systemctl start kibana.service    ###启动kibana服务
[root@node1 kibana]# systemctl enable kibana.service   ###开机启动kibana服务

[root@node1 kibana]# netstat -natp | grep 5601
tcp        0      0 0.0.0.0:5601            0.0.0.0:*               LISTEN      84119/node          
[root@node1 kibana]# 

• 登录且创建索引，注意：这里的索引，必须是elasticsearch集群中存在的索引才能在kilbana中创建

• 对接Apache主机的Apache 日志文件（access.log和error.log）

[root@apache opt]# cd /etc/logstash/conf.d/
[root@apache conf.d]# touch apache_log.conf
[root@apache conf.d]# vi apache_log.conf
input {
       file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
        }
       file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
        }
        
      }
output {
        if [type] == "access" {
        elasticsearch {
          hosts => ["192.168.43.101:9200"]
          index => "apache_access-%{+YYYY.MM.dd}"
          }
        }
        if [type] == "error" {
        elasticsearch {
          hosts => ["192.168.43.101:9200"]
          index => "apache_error-%{+YYYY.MM.dd}"
          }
        }
        }

[root@apache conf.d]# /usr/share/logstash/bin/logstash -f apache_log.conf	

• 登录192.168.43.101:9200,在elasticsearch集群中查看是否存在，这两个索引

• 登录192.168.43.101:5601，进入kibana中建立索引

 

注意：当我们将node1宕机之后，node2节点就开始承担对接工作