CentOS7.2部署ELK5.2.2(yum安装)

版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/weini1111/article/details/61202764

一、elk简介

开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成:

  • ElasticSearch是一个基于Lucene的开源分布式搜索服务器。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是第二流行的企业搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
    在elasticsearch中,所有节点的数据是均等的。
  • Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤、分析,并将其存储供以后使用(如,搜索),您可以使用它。说到搜索,logstash带有一个web界面,搜索和展示所有日志。
  • Kibana 是一个基于浏览器页面的Elasticsearch前端展示工具,也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

部署环境:

CentOS7.2 版本号1611,elasticsearch5.2.2,logstash5.2.2,kibana5.2.2.虚拟机内存要大于2G。关闭防火墙和SELinux。

1.java环境

[root@elk-node1 ~]# yum install -y java-1.8.0
[root@elk-node1 ~]# java -version
openjdk version "1.8.0_121"
OpenJDK Runtime Environment (build 1.8.0_121-b13)
OpenJDK 64-Bit Server VM (build 25.121-b13, mixed mode)

2.elasticsearch安装

1. 导入elasticsearch PGP key

[root@elk-node1 ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

2.配置yum源和修改hosts文件

[root@elk-node1 ~]# vim /etc/yum.repos.d/elasticsearch.repo
[elasticsearch-5.x]
name=Elasticsearch repository for5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
[root@elk-node1 ~]# echo "192.168.217.131 elk-node1" >> /etc/hosts
[root@elk-node1 ~]# echo "192.168.217.132 elk-node1" >> /etc/hosts

3.安装elasticsearch及修改配置文件

[root@elk-node1 ~]# yum install elasticsearch -y
[root@elk-node1 ~]# systemctl daemon-reload
[root@elk-node1 ~]# systemctl enable elasticsearch.service   //添加开机自启
[root@elk-node1 ~]# grep -v ^# /etc/elasticsearch/elasticsearch.yml
cluster.name: elk     //集群名
node.name: elk-node-1   //节点名
path.data: /var/lib/elasticsearch   //data存储路径
path.logs: /var/log/elasticsearch   //log存储路径
network.host: 0.0.0.0    //监听地址
http.port: 9200          //监听端口
discovery.zen.ping.unicast.hosts: ["192.168.217.131", "192.168.217.132"]   //集群节点发现列表
discovery.zen.minimum_master_nodes: 2   //集群可做master的最小节点数
http.cors.enabled: true   
http.cors.allow-origin: "*"

4.配置head插件

[root@elk-node1 ~]# wget https://nodejs.org/dist/v6.9.5/node-v6.9.5-linux-x64.tar
[root@elk-node1 ~]# tar -xvf node-v6.9.5-linux-x64.tar -C /usr/local/
[root@elk-node1 ~]# ln -s node-v6.9.5-linux-x64/bin/node /usr/bin/node
[root@elk-node1 ~]# ln -s node-v6.9.5-linux-x64/bin/npm /usr/bin/npm
[root@elk-node1 ~]# node -v
v6.9.5
[root@elk-node1 ~]# npm -v
3.10.10
[root@elk-node1 ~]# npm install -g grunt-cli
[root@elk-node1 ~]# ln -s node-v6.9.5-linux-x64/lib/node_modules/grunt-cli/bin/grunt /usr/bin/grunt
[root@elk-node1 ~]# cd /var/lib/elasticsearch
[root@elk-node1 elasticsearch]# yum install -y git
[root@elk-node1 elasticsearch]# git clone git://github.com/mobz/elasticsearch-head.git
[root@elk-node1 elasticsearch]# chown -R elasticsearch:elasticsearch elasticsearch-head/
[root@elk-node1 elasticsearch]# cd /var/lib/elasticsearch/elasticsearch-head/
[root@elk-node1 elasticsearch-head]# npm install
[root@elk-node1 elasticsearch-head]# cd /var/lib/elasticsearch/elasticsearch-head/_site/

[root@elk-node1 _site]# cp app.js app.js.bak
[root@elk-node1 _site]# vim app.js
                init: function(parent) {
                        this._super();
                        this.prefs = services.Preferences.instance();
                        this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://192.168.217.131:9200";   //修改4328行
[root@elk-node1 _site]# cd /var/lib/elasticsearch/elasticsearch-head/
[root@elk-node1 elasticsearch-head]# cp Gruntfile.js Gruntfile.js.bak
[root@elk-node1 elasticsearch-head]# vim Gruntfile.js
                connect: {
                        server: {
                                options: {
                                        hostname: "0.0.0.0",   //添加这一行
                                        port: 9100,
                                        base: '.',
                                        keepalive: true
                                }
                        }
                }
[root@elk-node1 elasticsearch-head]# systemctl start elasticsearch.service
[root@elk-node1 elasticsearch-head]# grunt server &
[root@elk-node1 elasticsearch-head]# netstat -anplut   //检查9200,9300,9100端口

5.打开浏览器,进行验证

访问http://192.168.217.131:9200/进行验证
这里写图片描述

访问http://192.168.217.131:9100/进行验证
这里写图片描述
没安装logstash和kibana时,划红线部分是空白。

3.安装logstash

1.yum安装

[root@elk-node1 ~]# yum isntall -y logstash
[root@elk-node1 ~]# cd /etc/logstash/
[root@elk-node1 logstash]# grep -v "#" logstash.yml
path.data: /var/lib/logstash
path.config: /etc/logstash/conf.d
path.logs: /var/log/logstash

2.pipeline文件

根据默认配置,pipeline实例文件默认应放置于/etc/logstash/conf.d目录,此时目录下无实例文件,可根据实际情况新建实例,以处理本机messages信息为例,如下:

[root@elk-node1 logstash]# cd /etc/logstash/conf.d/
[root@elk-node1 conf.d]# vim messages.conf
input {
    file {
        path => "/var/log/messages"
    }
}
output {
    elasticsearch {
        hosts => ["192.168.217.131:9200","192.168.217.132:9200"]
        index => "messages-%{+YYYY.MM.dd}"
    }
    stdout {
# codec => rubydebug
    }
}
[root@elk-node1 conf.d]# cd ..
[root@elk-node1 logstash]# chown -R logstash:logstash conf.d/
[root@elk-node1 logstash]# chmod 644 /var/log/messages

3.启动验证

1)启动测试
[root@elk-node1 logstash]# cd /usr/share/logstash/
[root@elk-node1 logstash]# bin/logstash -e 'input { stdin { } } output { stdout {} }'
WARNING: Could not find logstash.yml which is typically located in $LS_HOME/config or /etc/logstash. You can specify the path using --path.settings. Continuing using the defaults
Could not find log4j2 configuration at path /usr/share/logstash/config/log4j2.properties. Using default config which logs to console

logstash可以启动,但此种验证方式会有告警,可以提示方式处理,在“$LS_HOME”下建立“config”目录,并将”/etc/logstash/”下的文件建软链接到“config”目录,再次执行即可,如下:

[root@elk-node1 logstash]# mkdir -p /usr/share/logstash/config/
[root@elk-node1 logstash]#  ln -s /etc/logstash/* /usr/share/logstash/config
[root@elk-node1 logstash]# chown -R logstash:logstash /usr/share/logstash/config/
[root@elk-node1 logstash]# bin/logstash -e 'input { stdin { } } output { stdout {} }'
2)启动logstash并验证
[root@elk-node1 ~]# 
systemctl start logstash
[root@elk-node1 ~]# systemctl enable logstash.service
Created symlink from /etc/systemd/system/multi-user.target.wants/logstash.service to /etc/systemd/system/logstash.service.
[root@elk-node1 ~]# netstat -anplut
//查看9600端口

4.验证

访问http://192.168.217.131:9100/
这里写图片描述

4.安装kibana

1.yum安装kibana

[root@elk-node1 ~]# yum install -y kinaba
[root@elk-node1 ~]# cd /etc/kibana
[root@elk-node1 kibana]# grep -v ^# /etc/kibana/kibana.yml 
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://192.168.217.131:9200"
[root@elk-node1 kibana]# systemctl start kibana
[root@elk-node1 kibana]# netstat -anplut |grep :5601
tcp        0      0 0.0.0.0:5601            0.0.0.0:*               LISTEN      4335/node 

2.浏览器访问验证

访问http://192.168.217.131:5601/
这里写图片描述

在红线部分添加messages-*,然后点击Discover,如果不能显示图形,请把时间选择一小时或更长。
这里写图片描述

elk,就简单介绍到这里,有什么问题欢迎提出来。

阅读更多
换一批

没有更多推荐了,返回首页