Logstash+Elasticsearch+kibana搭建日志平台文档(xjh20160527重庆公司亲测可用)

Logstash+Elasticsearch+kibana搭建日志平台文档

                                        v1.0_xjh  20160527

 

 http://wenku.baidu.com/link?url=_HaXh4neqWm5O7y7hOSRiMkNMc8RUDkBOo5Np4Lm4fta3DYXfLV-U2k6xvX4eHYJjuo2RepfxQz2cJ1ndgyejQus3UeoGJhAFH2fUbDyfxu

一、搭建环境和所需软件

      服务器系统：centos6.5(64位)

         Logstash：1.4.2

         Elasticsearch：1.7.3

         Kibana： kibana-latest(最新版本)

         Ngnix：1.4.4

         Redis：2.8.14

 

 

 

二、搭建日志平台概述

     该文档描述的是当前比较流行的日志框架(ELK)搭建描述，使用Logstash的skipper发送日志事件到redis，然后logstash的服务器接收redis发送过来的日志事件，并将接受到的日志事件发送给Elasticsearch进行索引处理等一些列操作，最后使用跑在ngnix服务器上的kibana接收elasticserch中的日志事件，通过web页面展示给用户查看相应的日志信息。

整个流程图片描述如下图：

 

三、搭建步骤

 (1) 准备服务器以及各个服务器描述

     Centos1(192.168.221.128) :装JDK7 、装logstash的接收日志index端。

Centos2(192.168.221.129)：装JDK7、装logstash的发送日志skipper端、装elasticsearch、装ngnix、装kibana。（注：elasticsearch、ngnix、kibana可以装到其他服务器上，是可选的）。

Centos3(192.168.221.130)：装redis。

Centos4(192.168.221.131)：：装JDK7、装logstash的发送日志skipper端。

注：skipper端可以多个。

(2)centos1安装

安装JDK略，切换到下载路径/opt/downloadFiles，使用wget https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz下载logstash安装包。下载完成后使用解压命令tar zxvf  logstash-1.4.2.tar.gz解压刚刚下载好的logstash。创建logstash日志文件 mkdir –p /home/logs/,使用vim创建logstash的启动配置文件 /root/logstash-1.4.2/conf/logstash.index.conf内容如下：

input{

     redis{

        host =>"192.168.221.130"

        threads=>5

        data_type=>"list"

        port=>"6379"

        key=>"logstash"

       type=>"log4j"

        codec=>"json"    

     }  

}

output{

      elasticsearch{

        protocol => "http"

        host=>"192.168.221.129"

        port=>"9200"

      }    

}

 

在redis和elasticsearch启动成功后，可以使用下面的命令启动logstash：

命令一：cd  /opt/downloadFiles/logstash-1.4.2/bin

命令二：./logstash -f/root/logstash-1.4.2/conf/logstash.index.conf --verbose -l ../log/mylog.log&

窗口没有报错信息就说明启动成功。

 

(3)centos2安装

   1、安装JDK略，装logstash：

 下载logstash和解压logstash和centos1一样，解压路径在/opt/downLoadFiles/logstash-1.4.2，只是配置文件不一样，使用vim创建/root/logstash-1.4.2/conf/logstash.shipper.conf内容如下：

input{

       file{

             type=>"log4j"

            #这里的path就是所要收集的日志文件

            path=>["/home/logs/*.log"]

        }

}

output{

 redis{

           host=>"192.168.221.130"   

           data_type=>"list"

           port=>"6379"

           key=>"logstash"

         }

}

在redis启动成功后，可以使用下面的命令启动logstash的skipper：

命令一：cd  /opt/downLoadFiles/logstash-1.4.2/bin

命令二：./logstash agent -f /root/logstash-1.4.2/conf/logstash.shipper.conf &

2、装elasticsearch：

切换到下载文件路径/opt/downLoadFiles/，然后使用

wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.7.3.tar.gz下载elasticsearch安装包，解压elasticsearch-1.7.3.tar.gz到当前文件夹。在解压的文件中vim打开elasticsearch的配置文件：/opt/downLoadFiles/elasticsearch-1.7.3/config/elasticsearch.yml  在该文件后追加

http.cors.enabled: true

http.cors.allow-origin: "/.*/"

http.cors.allow-credentials: true

这三行代码，保存后退出。

使用下面两条命令可以启动elasticsearch：

命令一：cd  /opt/downLoadFiles/elasticsearch-1.7.3/bin

命令二：./elasticsearch -f $

窗口没有报错信息就说明启动成功。

 

3、装kabana(ngnix安装省略我的安装目录是/usr/local/nginx-1.4.4)

     切换到下载文件路径/opt/downLoadFiles/，然后使用wget https://download.elasticsearch.org/kibana/kibana/kibana-latest.zip 下载kibana最新版本，然后使用解压命令解压kibana的安装包到ngnix安装目录的html(/usr/local/nginx-1.4.4/usr/local/nginx-1.4.4/html)文件夹下。使用vim打开kibana的配置文件：/usr/local/nginx-1.4.4/html/kibana-latest/config.js  找到elasticsearch:"http://"+window.location.hostname+":9200"这行改为elasticsearch:"http://192.168.221.129:9200"  保存后退出即可。

ngnix启动：/usr/local/nginx-1.4.4/sbin/nginx

ngnix关闭：/usr/local/nginx-1.4.4/sbin/nginx -s stop

 

ngnix启动后访问http://192.168.221.129/kibana-latest/index.html    就可以看到kibana的首页，再点击首页上的(LogstashDashboard)就可以看到所有收集到的日志信息。

(4)centos3安装

   Redis安装在/usr/local/redis目录。

   启动redis：service redis start
 关闭redis: service redis stop

启动redis后设置redis可以保存数据到硬盘：cd /usr/local/redis/bin

然后执行：config setstop-writes-on-bgsave-error no   命令即可。

 

(5)centos4安装

    centos4其实就是指安装了logstash的skipper，也就是重复centos2安装过程步骤中的第一步，所以不做详细说明，参照centos2安装步骤即可。

四、总结以及启动说明

    到此Logstash+Elasticsearch+kibana的日志平台已经搭建完毕。需要说明的是启动顺序是：先启动redis，然后启动logstash的skipper，再启动ngnix，再启动elasticsearch，最后启动logstash的index。这只是一个简单的日志平台，对于复杂的配置，复杂的功能还需要慢慢研究。

 

***看这篇文章有什么不懂得可以联系我企鹅 363722188