logstash+elasticsearch+redis+kibana3 日志收集系统搭建

一直拖拖拉拉，今晚终于把环境搭起来了，简单的说下原理、安装步骤以及需要注意的问题。

一、原理：

上图可见，一共分为5个部分，shipper是我们部署在我们需要采集日志的机器上，broker汇聚这些日志，然后统一传到indexer上，ElasitcSearch是一个搜索引擎，负责存储这些日志，并搜索。Web interface是一个前端展示页面。

shipper和Indexer都是logstash，只不过他们的配置文件不一样。broker一般采用redis，所有的shipper上的日志统一传到redis中。indexer负责从broker中取数据，并将它存储到elasticsearch中。webinterface一般使用kibana，现在es中集成了kibana，但我们还是自己安装它。

二、环境搭建

1、部署规划：

192.168.137.101       logstash-1.4.2(indexer)     redis-2.8.13    elasticsearch-1.1.1    kibana-3.1.0

192.168.137.10         logstash-1.4.2(shipper)

2、安装

192.168.137.10只安装logstash，负责收集本地的日志，安装很简单，下载后解压即可。看下配置文件：

vi logstash/shipper.conf