logstash日志平台搭建

logstash + elasticsearch + kibana 日志平台的搭建           

一、概念介绍

logstash是一个开源工具，可以对日志进行收集、分析，并将其存储供以后使用。kibana也是一个开源的软件，可以为logstash 和elasticsearch 提供友好的日志分析的web界面。

具体工作流程如下：

1.1  logstash agent 监控并过滤日志，将过滤的日志内容发给 redis(redis 只处理队列，不存储)，logstash index 将日志收集一起交给elasticsearch（全文搜索服务），elasticsearch可以通过自定义搜索，并通过结合kibana，进行页面展示。

1.2 logstash 的收集方式分为 standalone 和 centralized，前者是将所有功能都集中在一个服务器上面，自发自收，后者是一台服务器接收所有的shipper (logstash agent -f ...)的日志

二、环境的搭建

服务器 （233-128）（ index 负责收集日志并将日志交给 elasticsearch 做搜索）：  logstash index，ElasticSearch，kibana，JDK 

日志源服务器（233-129）(agent 负责监控、过滤日志)：  logstash agent，JDK

服务器 (233-130)：redis    (可以指定一台线上的服务器)

2.1 服务器（233-128）       

2.1.1 安装JDK

在安装logstash之前，需要对jdk进行安装，用jdk 运行 java 程序 

yum install java-1.7.0-openjdk

设置环境变量：#vim   ./bashrc

export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_6