0.介绍
Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。
http://kibana.logstash.es/content/logstash/
1.下载和安装
下载地址
https://www.elastic.co/downloads/logstash
目前最新版 2.4.0
这里使用 tar.gz 源码安装
下载
wget https://download.elastic.co/logstash/logstash/logstash-2.4.0.tar.gz
解压
tar -zxvf logstash-2.4.0.tar.gz
2.配置
2.1 创建logstash配置文件
进入 logstash 目录,创建 config 配置文件存放目录。
mkdir config
vim config/nginx-gitlab.conf
config/nginx-gitlab.conf 文件内容
input {
file {
path => "/var/opt/gitlab/nginx/logs/*.log"
start_position => beginning
}
}
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG} %{QS:x_forwarded_for}"}
}
date {
match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
}
geoip {
source => "clientip"
}
}
output {
elasticsearch {
hosts => "192.168.235.32:9200"
}
stdout { codec => rubydebug }
}
启动:
./bin/logstash -f config/nginx-gitlab.conf
配置说明