grok logstash配置_【logstash】 - 使用grok提取信息

elasticsearch：是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

logstash：用来收集日志，集成各种收集日志插件。

kibana：为 Logstash 和 ElasticSearch 提供的日志分析的 Web 接口。

数据格式如下：2014-09-04 09:38:00 /A/B/叶随风(yesuifeng) 192.168.168.168 hhttp://www.logstash.net/docs/index.html allowed

2014-09-04 09:38:00 /A/B/C/叶(ye) 10.10.10.10 hhttp://www.logstash.net/docs/index.html allowed

2014-09-04 09:38:00 /A/D/随风(suifeng) 172.16.10.10 hhttp://www.logstash.net/docs/index.html allowed

创建logstash配置文件，如下：input{

file{

path => "/huang/tmp/1"

start_position => "beginning"

}

}

filter{

grok{

match => { "message" => "%{MYTESTLOG}" }

}

}

output{

elasticsearch { host => localhost }

stdout { codec => rubydebug }

}

logstash/patterns下创建mylog文件，内容如下：MYDATE %{YEAR}[/-]%{MONTHNUM}[/-]%{MONTHDAY} %{HOUR}:%{MINUTE}:%{SECOND}

MYUSER /[^)]*\)

MYTESTLOG %{MYDATE:ndate} %{MYUSER:nuser} %{IP:uip} %{URI:nurl} %{GREEDYDATA:nother}