部署ELK企业日志分析系统

部署ELK企业日志分析系统

前言：

​ 日志分析是运维工程师解决系统故障，发现问题的主要手段。日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。

一：介绍ELK

1、ELK的含义

​ ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载；Logstash是一个完全开源的工具，它可以对你的日志进行收集、过滤，并将其存储，供以后使用（如，搜索）；Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash ElasticSearch 提供友好的日志分析Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

2、ELK工作原理

Logstash收集AppServer产生的Log，并存放到ElasticSearch集群中，而Kibana则从ES集群中查询数据生成图表，再返回给Browser。简单来说，进行日志处理分析，一般需要经过以下几个步骤：

1. 将日志进行集中化管理（beats）
2. 将日志格式化（logstash）
3. 对格式化后的数据进行索引和存储（elasticsearch）
4. 前端数据的展示（kibana）

3、ElasticSearch介绍

​ Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

（1）基础核心概念

• 接近实时（NRT）
  lasticsearch是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）

• 集群（cluster）
  一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能。集群有一个唯一性标示的名字，默认是elasticsearch，集群名字很重要，每个节点是基于集群名字加入到其集群中的。因此，确保在不同环境中使用不同的集群名字。一个集群可以只有一个节点。

• 节点（node）
  节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能。像集群一样，节点也是通过名字来标识，默认是在节点启动时随机分配的字符名。当然，你可以自己定义。该名字也很重要，在集群中用于识别服务器对应的节点。
  节点可以通过指定集群名字来加入到集群中。默认情况，每个节点被设置成加入到elasticsearch集群。如果启动了多个节点，假设能自动发现对方，他们将会自动组建一个名为elasticsearch的集群。

• 索引（index）
  一个索引就是一个拥有几分相似特征的文档的集合。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。在一个集群中，可以定义任意多的索引。（索引相对于关系型数据库的库）

• 类型（type）
  在一个索引中，可以定义一种或多种类型。一个类型是索引的一个逻辑上的分类/分区，其语义完全由自己来定。通常，会为具有一组共同字段的文档定义一个类型。（类型相对于关系型数据库的表）

• 文档（document）
  一个文档是一个可被索引的基础信息单元。文档以JSON（Javascript Object Notation）格式来表示，而JSON是一个到处存在的互联网数据交互格式。在一个index/type里面，可以存储任意多的文档。注意，虽然一个文档在物理上位于一个索引中，实际上一个文档必须在一个索引内被索引和分配一个类型。（文档相对于关系型数据库的列）

• 分片和副本（shards & replicas）
  在实际情况下，索引存储的数据可能超过单个节点的硬件限制。如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上，或者从单个节点搜索请求太慢了。为了解决这个问题，elasticsearch提供将索引分成多个分片的功能。当在创建索引时，可以定义想要分片的数量。每一个分片就是一个全功能的独立的索引，可以位于集群中任何节点上。

​ 分片的两个最主要原因：水平分割扩展，增大存储量 ； 分布式并行跨分片操作，提高性能和吞吐量

​ 副本的两个主要原因：高可用性，以应对分片或者节点故障。出于这个原因，分片副本要在不同的节点上； 增大吞吐量，搜索可以并行在所有副本上执行。

​ 总之，每个索引可以被分成多个分片。一个索引也可以被复制0次（意思是没有复制）或多次。一旦复制了，每个索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。分片和副本的数量可以在索引创建的时候指定。在索引创建之后，可以在任何时候动态地改变副本的数量，但是事后不能改变分片的数量。
​ 默认情况下，Elasticsearch中的每个索引被分片5个主分片和1个副本，这意味着，如果集群中至少有两个节点，索引将会有5个主分片和另外5个副本分片（1个完全拷贝），这样的话每个索引总共就有10个分片。

二：实验部署

1、实验环境

配置和安装ELK日志分析系统，安装集群方式，2个elasticsearch节点，并监控apache服务器日志。

安装包自行下载：
链接：https://pan.baidu.com/s/168NI_RJhRMn3bDNRHi0VoA
提取码：cyfc
复制这段内容后打开百度网盘手机App，操作更方便哦

2、实验步骤

node1、node2配置Elasticsearch环境

（node1和node2配置相同，以node1为例。唯一要改的地方是配置文件那边的节点名称）

（1）更改主机名、设置地址映射、关闭防火墙

[root@localhost ~]# hostnamectl set-hostname node1
[root@node1 ~]# systemctl stop firewalld.service 
[root@node1 ~]# systemctl disable firewalld.service 
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@node1 ~]# setenforce 0
[root@node1 ~]# vim /etc/sysconfig/selinux 
SELINUX=disabled	'修改为disabled'
[root@node1 ~]# vim /etc/hosts
192.168.48.128   node1
192.168.48.138   node2

（2）安装java环境

[root@node1 ~]# yum install -y java-1.8.0
[root@node1 ~]# java -version     ‘查看java版本’
openjdk version "1.8.0_242"
OpenJDK Runtime Environment (build 1.8.0_242-b08)
OpenJDK 64-Bit Server VM (build 25.242-b08, mixed mode)

（3）上传软件包（三台都要上传），并解压

这边用的xftp传输的，

[root@node1 ~]# cd /opt
[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm    ‘解压数据包’

（4）加载系统服务

[root@node1 opt]# systemctl daemon-reload 
[root@node1 opt]# systemctl enable elasticsearch.service

（5）更改elasticsearch主配置文件

[root@node1 opt]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
[root@node1 opt]#  vi /etc/elasticsearch/elasticsearch.yml

‘末行添加上’
cluster.name: my-elk-cluster                 ‘集群名字’
node.name: node1                             ‘节点名字’
path.data: /data/elk_data                    ‘数据存放路径’
path.logs: /var/log/elasticsearch/           ‘数据存放路径’
bootstrap.memory_lock: false                 ‘不在启动的时候锁定内存’
network.host: 0.0.0.0                 ‘提供服务绑定的IP地址，0.0.0.0代表所有地址’
http.port: 9200                              ‘侦听端口为9200’
discovery.zen.ping.unicast.hosts: ["node1", "node2"]          ‘集群发现通过单播实现’

（6）创建数据存放路径并授权

[root@node1 opt]# mkdir -p /data/elk_data
[root@node1 opt]# chown elasticsearch:elasticsearch /data/elk_data/

（7）启动elasticsearch是否成功开启

[root@node1 opt]# systemctl start elasticsearch.service
[root@node1 opt]# systemctl daemon-reload
[root@node1 opt]# netstat -antp |grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      3918/java 

（8）查看节点信息，用宿主机浏览器打开

（9）检查群集健康状况和状态信息

• 上述查看集群的方式，及其不方便，我们可以通过安装elasticsearch-head插件后，来管理集群

node1、node2安装elasticsearch-head插件

（以node1为例）

（1）编译安装node组件依赖包

[root@localhost opt]# cd /opt
[root@node1 opt]# tar xzvf node-v8.2.1.tar.gz
[root@node1 opt]# cd node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure 
[root@node1 node-v8.2.1]# make -j3      ‘耗时时间较长’
[root@node1 node-v8.2.1]# make install

（2）安装phantomjs，上传软件包到/usr/local/src

[root@node1 node-v8.2.1]# cd /opt
[root@node1 opt]# ls
elasticsearch-5.5.0.rpm    logstash-5.5.1.rpm  phantomjs-2.1.1-linux-x86_64.tar.bz2
elasticsearch-head.tar.gz  node-v8.2.1         rh
kibana-5.5.1-x86_64.rpm    node-v8.2.1.tar.gz
[root@node1 opt]# cp phantomjs-2.1.1-linux-x86_64.tar.bz2 /usr/local/src	'将软件包复制到指定目录'
[root@node1 opt]# cd /usr/local/src
[root@node1 src]# ls
phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node1 src]# tar jvxf phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node1 src]# cd phantomjs-2.1.1-linux-x86_64/bin
[root@node1 bin]# cp phantomjs /usr/local/bin	'将phantomjs命令让系统可以识别'

（3）安装elasticsearch-head

[root@node1 bin]# cd /usr/local/src/
[root@node1 src]# cp /opt/elasticsearch-head.tar.gz ./	'将刚刚上传到/opt目录下的tar包辅助到本目录'
[root@node1 src]# ls
elasticsearch-head.tar.gz  phantomjs-2.1.1-linux-x86_64  phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node1 src]# tar zxf elasticsearch-head.tar.gz
[root@node1 src]# cd elasticsearch-head/
[root@node1 elasticsearch-head]# npm install	'初始化项目'

（4）修改主配置文件，重启elasticsearch服务

[root@node1 elasticsearch-head]# vi /etc/elasticsearch/elasticsearch.yml
‘末行添加上个’
http.cors.enabled: true		'开启跨域访问支持，默认为false'
http.cors.allow-origin: "*"		'跨域访问允许的域名地址，支持使用正则'
[root@node1 elasticsearch-head]# systemctl restart elasticsearch

（5）启动elasticsearch-head服务

[root@node1 elasticsearch-head]# npm run start &	'启动项目，要切换到后台运行' 

[root@node1 elasticsearch-head]# netstat -lnupt |grep 9100
tcp        0      0 0.0.0.0:9100            0.0.0.0:*               LISTEN      50390/grunt         
[root@node1 elasticsearch-head]# netstat -lnupt |grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      50300/java

（6）创建索引index-demo，类型为test

[root@node1 ~]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"wang","mesg":"hello"}'

第二种方法：

部署logstash（Apache服务器上）

（1）安装apache服务

[root@localhost ~]# hostnamectl set-hostname apache
[root@apache ~]# yum -y install httpd
[root@apache ~]# systemctl start httpd

（2）安装java环境

[root@apache ~]# yum -y install java-1.8.0
[root@apache ~]# java -version

（3）安装logstash

[root@apache ~]# cd /opt
[root@apache opt]# rpm -ivh logstash-5.5.1.rpm       ‘安装logstash’
[root@apache opt]# systemctl start logstash.service         ‘启动logstash’
[root@apache opt]# systemctl enable logstash.service
[root@apache opt]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/   ‘建立logstash软连接’

（4）logstash（Apache）与elasticsearch（node）功能是否正常，做对接测试

[root@apache opt]# logstash -e 'input { stdin{} } output { stdout{} }'
‘没问题按ctrl+c结束’

（5）使用rubydebug显示详细输出，codec为一种编解码器

[root@apache opt]# logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

（6）使用logstash将信息写入elasticsearch中

[root@apache opt]# logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.48.128:9200"] } }'

（7）登录宿主机查看索引信息，多出 logstash-2020.03.29，点击数浏览查看响应的内容

（8）登录apache主机，做对接配置

[root@apache opt]# chmod o+r /var/log/messages
[root@apache opt]# ll /var/log/messages
[root@apache opt]# vi /etc/logstash/conf.d/system.conf 

[root@apache opt]# systemctl restart logstash.service

登录宿主机打开浏览器 输入http://192.168.48.128:9100/ 查看索引信息：

在node1主机安装kibana

（1）上传kibana-5.5.1-x86_64.rpm 到/usr/local/src目录下

[root@node1 ~]# cd /usr/local/src/
[root@node1 src]# cp /opt/kibana-5.5.1-x86_64.rpm ./
[root@node1 src]# rpm -ivh kibana-5.5.1-x86_64.rpm 
[root@node1 src]# cd /etc/kibana/
[root@node1 kibana]# cp kibana.yml kibana.yml.bak 	'备份配置文件'
[root@node1 kibana]# vi kibana.yml	   '编辑配置文件'

2行  server.port: 5601    ‘kibana打开的端口’
7行  server.host: "0.0.0.0"     ‘kibana侦听的地址’
21行  elasticsearch.url: "http://192.168.48.128:9200"    ‘和elasticsearch建立联系’
30行  kibana.index: ".kibana"       ‘在elasticsearch中添加.kibana索引’

[root@node1 kibana]# systemctl start kibana.service    ‘启动kibana服务’
[root@node1 kibana]# systemctl enable kibana.service   ‘开机启动kibana服务’

（2）在宿主机浏览器输入192.168.48.128:5601

创建的索引对接系统日志文件。

对接Apache主机的Apache 日志文件

[root@apache opt]# cd /etc/logstash/conf.d/
[root@apache conf.d]# touch apache_log.conf
[root@apache conf.d]# vi apache_log.conf

[root@apache conf.d]# /usr/share/logstash/bin/logstash -f apache_log.conf    ‘指定配置文件做测试’

打开浏览器，输入192.168.48.128:9200 ，查看索引信息，能发现apache_error-2019.04.16 apache_access-2019.04.16

打开浏览器 输入http://192.168.48.128:5601 ，点击左下角有个management选项—index patterns—create index pattern----分别创建apache_error-* 和 apache_access-* 的索引

当node1宕机之后，node2节点就开始承担对接工作。