ELK系统收集的nginx access日志内容默认都是作为一个整体放在messages字段中的,无法对诸如
upstream_response_time、upstream_status等重要字段进行单独分析比较,因此,就需要使用logstash
的grok功能从access日志中匹配提取各个变量
1.首先确定nginx的日志格式
在nginx的配置文件中设置日志格式:
log_format access '$remote_addr - $remote_user [$time_local] '
'$http_host $request_method $uri '
'$status $body_bytes_sent '
'$upstream_status $upstream_addr $request_time '
'$upstream_response_time $http_user_agent';
2.使用logstash grok对nginx日志进行匹配
由于logstash内置的pattern不适用,所以只能自己定制pattern 在logstash的配置文件中加入如下过滤规则:
filter {
#type的值是在logstash的客户端配置文件中配置的,用来匹配采集来的nginx日志
if [type] == 'mobile-access' {
grok {
#match 这一段实际是单行书写的,为了便于阅读这里拆分成了多行
match =>[ "message",'%{IPV4:remote_addr}-(%{USERNAME:user}|-)
\[%{HTTPDATE:nginx_timestamp}\]%{HOSTNAME:http_host}%{WORD:request_method}
%{URIPATH:uri}%{BASE10NUM:http_status}%{BASE10NUM:body_bytes_sent:int}
(%{BASE10NUM:upstream_status}|-)(?:%{HOSTPORT:upstream_addr}|-)
(%{BASE16FLOAT:request_time}|-)(%{BASE16FLOAT:upstream_response_time}|-)
(?<http_user_agent>[^"]*)'
}
date {
locale => "en"
match =>["nginx_timestamp" , "dd/MMM/YYYY:HH:mm:ss Z"]
}
#实际中grok并没有将匹配的字段转换成期望的int、float等类型,因此这里使用了convert
再次做转换
mutate {
convert =>[
"request_time","float",
"body_bytes_sent","integer",
"upstream_response_time","float",
"http_status","integer"
]
}
}
查看效果:一共匹配了24个Fields,request_time,body_bytes_set都转变成了number类型
转载于:https://blog.51cto.com/3379770/1906317