Logstash+Elasticsearch+kibana搭建日志平台文档
v1.0_xjh 20160527
http://wenku.baidu.com/link?url=_HaXh4neqWm5O7y7hOSRiMkNMc8RUDkBOo5Np4Lm4fta3DYXfLV-U2k6xvX4eHYJjuo2RepfxQz2cJ1ndgyejQus3UeoGJhAFH2fUbDyfxu
一、搭建环境和所需软件
服务器系统:centos6.5(64位)
Logstash:1.4.2
Elasticsearch:1.7.3
Kibana: kibana-latest(最新版本)
Ngnix:1.4.4
Redis:2.8.14
二、搭建日志平台概述
该文档描述的是当前比较流行的日志框架(ELK)搭建描述,使用Logstash的skipper发送日志事件到redis,然后logstash的服务器接收redis发送过来的日志事件,并将接受到的日志事件发送给Elasticsearch进行索引处理等一些列操作,最后使用跑在ngnix服务器上的kibana接收elasticserch中的日志事件,通过web页面展示给用户查看相应的日志信息。
整个流程图片描述如下图:
三、搭建步骤
(1) 准备服务器以及各个服务器描述
Centos1(192.168.221.128) :装JDK7 、装logstash的接收日志index端。
Centos2(192.168.221.129):装JDK7、装logstash的发送日志skipper端、装elasticsearch、装ngnix、装kibana。(注:elasticsearch、ngnix、kibana可以装到其他服务器上,是可选的)。
Centos3(192.168.221.130):装redis。
Centos4(192.168.221.131)::装JDK7、装logstash的发送日志skipper端。
注:skipper端可以多个。
(2)centos1安装
安装JDK略,切换到下载路径/opt/downloadFiles,使用wget https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz下载logstash安装包。下载完成后使用解压命令tar zxvf logstash-1.4.2.tar.gz解压刚刚下载好的logstash。创建logstash日志文件 mkdir –p /home/logs/,使用vim创建logstash的启动配置文件 /root/logstash-1.4.2/conf/logstash.index.conf内容如下:
input{
redis{
host =>"192.168.221.130"
threads=>5
data_type=>"list"
port=>"6379"
key=>"logstash"
type=>"log4j"
codec=>"json"
}
}
output{
elasticsearch{
protocol => "http"
host=>"192.168.221.129"
port=>"9200"
}
}
在redis和elasticsearch启动成功后,可以使用下面的命令启动logstash:
命令一:cd /opt/downloadFiles/logstash-1.4.2/bin
命令二:./logstash -f/root/logstash-1.4.2/conf/logstash.index.conf --verbose -l ../log/mylog.log&
窗口没有报错信息就说明启动成功。
(3)centos2安装
1、安装JDK略,装logstash:
下载logstash和解压logstash和centos1一样,解压路径在/opt/downLoadFiles/logstash-1.4.2,只是配置文件不一样,使用vim创建/root/logstash-1.4.2/conf/logstash.shipper.conf内容如下:
input{
file{
type=>"log4j"
#这里的path就是所要收集的日志文件
path=>["/home/logs/*.log"]
}
}
output{
redis{
host=>"192.168.221.130"
data_type=>"list"
port=>"6379"
key=>"logstash"
}
}
在redis启动成功后,可以使用下面的命令启动logstash的skipper:
命令一:cd /opt/downLoadFiles/logstash-1.4.2/bin
命令二:./logstash agent -f /root/logstash-1.4.2/conf/logstash.shipper.conf &
2、装elasticsearch:
切换到下载文件路径/opt/downLoadFiles/,然后使用
wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.7.3.tar.gz下载elasticsearch安装包,解压elasticsearch-1.7.3.tar.gz到当前文件夹。在解压的文件中vim打开elasticsearch的配置文件:/opt/downLoadFiles/elasticsearch-1.7.3/config/elasticsearch.yml 在该文件后追加
http.cors.enabled: true
http.cors.allow-origin: "/.*/"
http.cors.allow-credentials: true
这三行代码,保存后退出。
使用下面两条命令可以启动elasticsearch:
命令一:cd /opt/downLoadFiles/elasticsearch-1.7.3/bin
命令二:./elasticsearch -f $
窗口没有报错信息就说明启动成功。
3、装kabana(ngnix安装省略我的安装目录是/usr/local/nginx-1.4.4)
切换到下载文件路径/opt/downLoadFiles/,然后使用wget https://download.elasticsearch.org/kibana/kibana/kibana-latest.zip 下载kibana最新版本,然后使用解压命令解压kibana的安装包到ngnix安装目录的html(/usr/local/nginx-1.4.4/usr/local/nginx-1.4.4/html)文件夹下。使用vim打开kibana的配置文件:/usr/local/nginx-1.4.4/html/kibana-latest/config.js 找到elasticsearch:"http://"+window.location.hostname+":9200"这行改为elasticsearch:"http://192.168.221.129:9200" 保存后退出即可。
ngnix启动:/usr/local/nginx-1.4.4/sbin/nginx
ngnix关闭:/usr/local/nginx-1.4.4/sbin/nginx -s stop
ngnix启动后访问http://192.168.221.129/kibana-latest/index.html 就可以看到kibana的首页,再点击首页上的(LogstashDashboard)就可以看到所有收集到的日志信息。
(4)centos3安装
Redis安装在/usr/local/redis目录。
启动redis:service redis start
关闭redis: service redis stop
启动redis后设置redis可以保存数据到硬盘:cd /usr/local/redis/bin
然后执行:config setstop-writes-on-bgsave-error no 命令即可。
(5)centos4安装
centos4其实就是指安装了logstash的skipper,也就是重复centos2安装过程步骤中的第一步,所以不做详细说明,参照centos2安装步骤即可。
四、总结以及启动说明
到此Logstash+Elasticsearch+kibana的日志平台已经搭建完毕。需要说明的是启动顺序是:先启动redis,然后启动logstash的skipper,再启动ngnix,再启动elasticsearch,最后启动logstash的index。这只是一个简单的日志平台,对于复杂的配置,复杂的功能还需要慢慢研究。
***看这篇文章有什么不懂得可以联系我企鹅 363722188