CentOS7.2部署ELK5.2.2（yum安装）

一、elk简介

开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成：

• ElasticSearch是一个基于Lucene的开源分布式搜索服务器。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
  在elasticsearch中，所有节点的数据是均等的。
• Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤、分析，并将其存储供以后使用（如，搜索），您可以使用它。说到搜索，logstash带有一个web界面，搜索和展示所有日志。
• Kibana 是一个基于浏览器页面的Elasticsearch前端展示工具，也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

部署环境：

CentOS7.2 版本号1611，elasticsearch5.2.2，logstash5.2.2,kibana5.2.2.虚拟机内存要大于2G。关闭防火墙和SELinux。

1.java环境

[root@elk-node1 ~]# yum install -y java-1.8.0
[root@elk-node1 ~]# java -version
openjdk version "1.8.0_121"
OpenJDK Runtime Environment (build 1.8.0_121-b13)
OpenJDK 64-Bit Server VM (build 25.121-b13, mixed mode)

2.elasticsearch安装

1. 导入elasticsearch PGP key

[root@elk-node1 ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

2.配置yum源和修改hosts文件

[root@elk-node1 ~]# vim /etc/yum.repos.d/elasticsearch.repo
[elasticsearch-5.x]
name=Elasticsearch repository for5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
[root@elk-node1 ~]# echo "192.168.217.131 elk-node1" >> /etc/hosts
[root@elk-node1 ~]# echo "192.168.217.132 elk-node1" >> /etc/hosts

3.安装elasticsearch及修改配置文件

[root@elk-node1 ~]# yum install elasticsearch -y
[root@elk-node1 ~]# systemctl daemon-reload
[root@elk-node1 ~]# systemctl enable elasticsearch.service   //添加开机自启
[root@elk-node1 ~]# grep -v ^# /etc/elasticsearch/elasticsearch.yml
cluster.name: elk     //集群名
node.name: elk-node-1   //节点名
path.data: /var/lib/elasticsearch   //data存储路径
path.logs: /var/log/elasticsearch   //log存储路径
network.host: 0.0.0.0    //监听地址
http.port: 9200          //监听端口
discovery.zen.ping.unicast.hosts: ["192.168.217.131", "192.168.217.132"]   //集群节点发现列表
discovery.zen.minimum_master_nodes: 2   //集群可做master的最小节点数
http.cors.enabled: true   
http.cors.allow-origin: "*"

4.配置head插件

[root@elk-node1 ~]# wget https://nodejs.org/dist/v6.9.5/node-v6.9.5-linux-x64.tar
[root@elk-node1 ~]# tar -xvf node-v6.9.5-linux-x64.tar -C /usr/local/
[root@elk-node1 ~]# ln -s node-v6.9.5-linux-x64/bin/node /usr/bin/node
[root@elk-node1 ~]# ln -s node-v6.9.5-linux-x64/bin/npm /usr/bin/npm
[root@elk-node1 ~]# node -v
v6.9.5
[root@elk-node1 ~]# npm -v
3.10.10
[root@elk-node1 ~]# npm install -g grunt-cli
[root@elk-node1 ~]# ln -s node-v6.9.5-linux-x64/lib/node_modules/grunt-cli/bin/grunt /usr/bin/grunt
[root@elk-node1 ~]# cd /var/lib/elasticsearch
[root@elk-node1 elasticsearch]# yum install -y git
[root@elk-node1 elasticsearch]# git clone git://github.com/mobz/elasticsearch-head.git
[root@elk-node1 elasticsearch]# chown -R elasticsearch:elasticsearch elasticsearch-head/
[root@elk-node1 elasticsearch]# cd /var/lib/elasticsearch/elasticsearch-head/
[root@elk-node1 elasticsearch-head]# npm install
[root@elk-node1 elasticsearch-head]# cd /var/lib/elasticsearch/elasticsearch-head/_site/

[root@elk-node1 _site]# cp app.js app.js.bak
[root@elk-node1 _site]# vim app.js
                init: function(parent) {
                        this._super();
                        this.prefs = services.Preferences.instance();
                        this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://192.168.217.131:9200";   //修改4328行
[root@elk-node1 _site]# cd /var/lib/elasticsearch/elasticsearch-head/
[root@elk-node1 elasticsearch-head]# cp Gruntfile.js Gruntfile.js.bak
[root@elk-node1 elasticsearch-head]# vim Gruntfile.js
                connect: {
                        server: {
                                options: {
                                        hostname: "0.0.0.0",   //添加这一行
                                        port: 9100,
                                        base: '.',
                                        keepalive: true
                                }
                        }
                }
[root@elk-node1 elasticsearch-head]# systemctl start elasticsearch.service
[root@elk-node1 elasticsearch-head]# grunt server &
[root@elk-node1 elasticsearch-head]# netstat -anplut   //检查9200,9300,9100端口

5.打开浏览器，进行验证

访问http://192.168.217.131:9200/进行验证

访问http://192.168.217.131:9100/进行验证

没安装logstash和kibana时，划红线部分是空白。

3.安装logstash

1.yum安装

[root@elk-node1 ~]# yum isntall -y logstash
[root@elk-node1 ~]# cd /etc/logstash/
[root@elk-node1 logstash]# grep -v "#" logstash.yml
path.data: /var/lib/logstash
path.config: /etc/logstash/conf.d
path.logs: /var/log/logstash

2.pipeline文件

根据默认配置，pipeline实例文件默认应放置于/etc/logstash/conf.d目录，此时目录下无实例文件，可根据实际情况新建实例，以处理本机messages信息为例，如下：

[root@elk-node1 logstash]# cd /etc/logstash/conf.d/
[root@elk-node1 conf.d]# vim messages.conf
input {
    file {
        path => "/var/log/messages"
    }
}
output {
    elasticsearch {
        hosts => ["192.168.217.131:9200","192.168.217.132:9200"]
        index => "messages-%{+YYYY.MM.dd}"
    }
    stdout {
# codec => rubydebug
    }
}
[root@elk-node1 conf.d]# cd ..
[root@elk-node1 logstash]# chown -R logstash:logstash conf.d/
[root@elk-node1 logstash]# chmod 644 /var/log/messages

3.启动验证

1)启动测试

[root@elk-node1 logstash]# cd /usr/share/logstash/
[root@elk-node1 logstash]# bin/logstash -e 'input { stdin { } } output { stdout {} }'
WARNING: Could not find logstash.yml which is typically located in $LS_HOME/config or /etc/logstash. You can specify the path using --path.settings. Continuing using the defaults
Could not find log4j2 configuration at path /usr/share/logstash/config/log4j2.properties. Using default config which logs to console

logstash可以启动，但此种验证方式会有告警，可以提示方式处理，在“$LS_HOME”下建立“config”目录，并将”/etc/logstash/”下的文件建软链接到“config”目录，再次执行即可，如下：

[root@elk-node1 logstash]# mkdir -p /usr/share/logstash/config/
[root@elk-node1 logstash]#  ln -s /etc/logstash/* /usr/share/logstash/config
[root@elk-node1 logstash]# chown -R logstash:logstash /usr/share/logstash/config/
[root@elk-node1 logstash]# bin/logstash -e 'input { stdin { } } output { stdout {} }'

2）启动logstash并验证

[root@elk-node1 ~]# 
systemctl start logstash
[root@elk-node1 ~]# systemctl enable logstash.service
Created symlink from /etc/systemd/system/multi-user.target.wants/logstash.service to /etc/systemd/system/logstash.service.
[root@elk-node1 ~]# netstat -anplut
//查看9600端口

4.验证

访问http://192.168.217.131:9100/

4.安装kibana

1.yum安装kibana

[root@elk-node1 ~]# yum install -y kinaba
[root@elk-node1 ~]# cd /etc/kibana
[root@elk-node1 kibana]# grep -v ^# /etc/kibana/kibana.yml 
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://192.168.217.131:9200"
[root@elk-node1 kibana]# systemctl start kibana
[root@elk-node1 kibana]# netstat -anplut |grep :5601
tcp        0      0 0.0.0.0:5601            0.0.0.0:*               LISTEN      4335/node 

2.浏览器访问验证

访问http://192.168.217.131:5601/

在红线部分添加messages-*，然后点击Discover，如果不能显示图形，请把时间选择一小时或更长。

elk，就简单介绍到这里，有什么问题欢迎提出来。