logstash有agent和indexer两个角色。对于agent角色,放在单独的web机器上面,然后这个agent不断地读取nginx的日志文件,每当它读到新的日志信息以后,就将日志传送到网络上的一台redis队列上。对于队列上的这些未处理的日志,有不同的几台logstash indexer进行接收和分析。分析之后存储到elasticsearch进行搜索分析。再由统一的kibana进行日志web界面的展示。
设置nginx日志
nginx.conf 中设置日志格式:logstash
log_format logstash '$http_host $server_addr $remote_addr [$time_local] "$request" '
'$request_body $status $body_bytes_sent "$http_referer" "$http_user_agent" '
'$request_time $upstream_response_time';
设置access日志
access_log /usr/local/nginx/logs/test.access.log logstash;
nginx由于有get请求,也有post请求,get请求的参数是会直接显示在日志的url中的,但是post请求的参数呢,却不会在access日志中体现出来。那么我想要post的参数也进行存储纪录下来。就需要自己定义一个log格式了。
这里的requestbody里面存放的就是POST请求的body了,然后GET请求的参数在
requestbody里面存放的就是POST请求的body了,然后GET请求的参数在
request里面。具体怎么分析,我们在indexer中再想。
这里的server_addr存放的是当前web机器的IP,存这个IP是为了分析日志的时候可以分析日志的原始来源。
log_agent的配置
新建logstash_agent 配置
vim /usr/local/logstash/conf/logstash_agent.conf
添加如下内容
input {
file {
type => "nginx_access"
path => ["/usr/local/nginx/logs/test.access.log"]
}
}
output {
redis {
host => "localhost"
data_type => "list"
key => "logstash:redis"
}
}
vim /usr/local/logstash/conf/logstash_indexer.conf
启动logstash agent
/usr/local/logstash/bin/logstash -f /usr/local/logstash/conf/logstash_agent.conf
此时test.access.log中的数据被传送到redis中,相当于tail -f。
开启logstash indexer
vim /usr/local/logstash/conf/logstash_indexer.conf
内容如下
input {
redis {
host => "localhost"
data_type => "list"
key => "logstash:redis"
type => "redis-input"
}
}
filter {
grok {
match => [
"message", "%{WORD:http_host} %{URIHOST:api_domain} %{IP:inner_ip} %{IP:lvs_ip} \[%{HTTPDATE:timestamp}\] \"%{WORD:http_verb} %{URIPATH:baseurl}(?:\?%{NOTSPACE:request}|) HTTP/%{NUMBER:http_version}\" (?:-|%{NOTSPACE:request}) %{NUMBER:http_status_code} (?:%{NUMBER:bytes_read}|-) %{QS:referrer} %{QS:agent} %{NUMBER:time_duration:float} (?:%{NUMBER:time_backend_response:float}|-)"
]
}
kv {
prefix => "request."
field_split => "&"
source => "request"
}
urldecode {
all_fields => true
}
date {
type => "log-date"
match => ["timestamp" , "dd/MMM/YYYY:HH:mm:ss Z"]
}
}
output {
elasticsearch {
embedded => false
protocol => "http"
host => "localhost"
port => "9200"
index => "access-%{+YYYY.MM.dd}"
}
}
对这个配置进行下说明:
- grok中的match正好匹配和不论是GET,还是POST的请求。
- kv是将request中的A=B&C=D的key,value扩展开来,并且利用es的无schema的特性,保证了如果你增加了一个参数,可以立即生效
- urldecode是为了保证参数中有中文的话进行urldecode
- date是为了让es中保存的文档的时间为日志的时间,否则是插入es的时间
一次启动ELK。