在es中如果用到date_histogram时要求field必须是date类型的,需要我们在Logstash中将时间字段改为date类型的,如下的日期:
11/Apr/2019:16:47:37 -0400
格式:
"dd/MMM/yyyy:HH:mm:ss Z"
使用date转换后在es中写query时还是显示text类型,最后试了一下在这个字段前加上@,在es中就可以显示为date类型了。完整的写法如下(这里先使用了grok插件对log解析):
grok{
patterns_dir => "/usr/local/wyh/elk-kafka/logstash-6.6.0/custom/patterns"
match => {
"message" => "%{IP:client_address} - - \[%{HTTPDATE:timestamp}\] Second:%{NUMBER:second} \"%{WORD:http_method} %{URIPATHPARAM:url}\?writer=%{WORD:writer}&articleid=%{ARTICLEID:articleid} HTTP/%{NUMBER:http_version}\" %{NUMBER:http_code} %{NUMBER:bytes} \"(?:%{URI:http_referer}|-)\" %{QS:java_version}"
}
remove_field => "message"
}
date{ --使用date插件转换日期格式
match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"] --timestamp是在上面的match中的自己指定的字段显示名称,后面的是对日期格式化,注意这里是3个MMM,如果写的是两个M,在kibana中不会显示@request_timestamp这个字段,后面的Z表示时区
target => "@request_timestamp" --将上面的时间格式化后放到这个字段中,相当于在这里是新建的字段,注意这里要在字段前面加个@,否则即使这里改成了date类型,到了es中还是会显示text类型
}