第二节 elk搭建

一Logstash 安装以及配置简介

注意：安装ELK之前，必须先安装jdk1.7.56 以上的版本
下载地址以及版本
  下载地址：可以通过这个地址：https://www.elastic.co/downloads/past-releases 下载所有版本的ELK安装包；
     版本选择：以elasticserarch2.0.0, logstash2.0.0 和kibana4.2.0 为例；
     服务器：    192.168.100.210 ,192.168.100.211和192.168.100.212 
安装logstash
    [root@xadev03 elk]# wget https://download.elasticsearch.org/logstash/logstash/logstash-2.0.0.tar.gz
    [root@xadev03 elk]# tar –zvxf logstash-2.0.0.tar.gz
    [root@xadev03 elk]# cd  logstash-2.0.0/bin
    [root@xadev03 elk]# vi  logstash_to_redis.conf

input {
        file {
                type => "tomcatlog"
                path => ["/usr/local/apache-tomcat-7.0.63/logs/my_localhost_access_log.2016-09-28.txt"]#这里定义的是日志文件路径
        }
}
filter{………}
output {
        redis {
                host => "192.168.100.210"
                port => 6379

                data_type => "list"
                key => "logstash:redis"
        }
    stdout {}
}      
      logstash 的配置文件分为3部分，分别为input，filter和output，以{}分隔。  Input和output是必须的，filter 可以根据实际进行配置。以上文件input 的内容意思是从path:/usr/local/apache-tomcat-7.0.63/logs/my_localhost_access_log.2016-09-28.txt 中读取增量内容，存储到192.168.100.210 端口为6379 的redis 服务器中，存储数据格式为list ，key为logstash:redis。
     [root@xadev03 elk]# vi  logstash_from_redis.conf
  input{
       redis {
       host=>"192.168.100.210"
       port=>6379
       data_type=>"list"
       key=>"logstash:redis"
    }
}
 filter{……}
 output{
     elasticsearch {

     hosts=>["192.168.211","192.168.100.212"]
     #cluster=>"my-application"
     index=>"logstash_redis_index"
  }
     stdout{}
}       
       以上文件input 的内容意思是从ip为192.168.100.210 端口为6379的redis服务器上中读取数据格式为list，key为logstash:redis 的数据；output的意思是将读取的数据存储到安装elasticsearch的服务器上，索引名称为logstash_redis_index。
  [root@xadev03 elk]#./logstash -f  logstash*.conf &    --启动
  

二 Logstash 日志收集处理过程

Logstash 日志收集处理过程

   每个阶段都由很多的插件配合工作，比如file、elasticsearch、redis等等。
   每个阶段也可以指定多种方式，比如输出既可以输出到elasticsearch中，也可以指定到stdout在控制台打印。

下节是elasticsearch的搭建