日志文件监控利器 - logstash

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/hljlzc2007/article/details/17392815

最近在使用logstash进行日志搜集,很方便的一个开源软件软件,开包即用,使用JRuby来开发的,呵呵,我一看到不是java开发的开源项目,就有一种莫名其妙的抵触情绪,怪哉怪哉,不过我去它们的jira系统,发现里边还是很活跃的,jira地址:https://logstash.jira.com/secure/Dashboard.jspa

在这里先讲一下logstash的用法吧, so easy.

下载logstash jar文件,https://download.elasticsearch.org/logstash/logstash/logstash-1.2.2-flatjar.jar

官方有一个场景是logstash监控日志文件,统一吐到Redis server中,在用一个logstash读取日志,并存放到ElasticSearch,我感觉这块还是挺实用的,具体地址:http://logstash.net/docs/1.2.2/tutorials/getting-started-centralized


要启动logstash,首先要有一个配置文件sample.conf,它包含一个input域和output域,同时还可以设置filter和codecs。

Input就是文件的来源,有多种指定方式,支持通配符,同时也可以指定多个文件。

Output就是文件的输出,可以设置输出到多个目标源,在这里指定它输出到Redis server,同时设置输出的类型为list,key就是每一条日志的名称,它默认是以map形式输出的,host为redis的主机地址。

下面这个配置文件是我做的一个小例子。

input {

  file {

    type =>"linux-syslog"

 

    # Wildcardswork, here :)

    path =>[ "/var/log/messages"]

  }

 

}

output {

 redis {

    data_type=> "list" key => "test"

    host =>"localhost"

  }

}

启动logstash:  java -jarlogstash-1.2.1-flatjar.jar agent -f sample.conf –web

Logstash提供web监控界面,地址为:http://localhost:9292

这时,logstash可以将message更新的日志文件,按条发送到Redis server中,用户可以自己写一个jar文件读取redis的日志,也可以使用logstash读取。

下图是logstash支持的inputs、codecs、filters和outputs的参数配置,你不必每一个都了解,当需要的时候现查就可以了,地址为:http://logstash.net/docs/1.2.2/

展开阅读全文

没有更多推荐了,返回首页