logstash过滤阿里云cdn日志

aliyun cdn日志样例

[26/Feb/2019:09:22:26 +0800] 111.206.221.2 - 169 “https://www.baidu.com/” “GET https://www.baidu.com/js/lib/swiper.jquery.min.js?20190221” 200 749 91127 HIT “Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)” “application/javascript; charset=utf-8”

字段说明

字段	参数
时间	[9/Jun/2015:01:58:09 +0800]
访问IP	188.165.15.75
代理IP	-
responsetime(单位 ms)	1542
referer	-
method	GET
访问url	http://www.aliyun.com/index.html
httpcode	200
requestsize(单位 byte)	191
responsesize(单位 byte)	2830
cache命中状态	MISS
UA头	Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)
文件类型	text/html

pattern过滤规则

\[%{HTTPDATE:[alicdn]timestamp}\] %{IPORHOST:[alicdn]clientip} (?:%{IPV4:[alicdn]proxy_ip}|-) (%{NUMBER:[alicdn]request_time}|-) \"(?:%{URI:[alicdn]referrer}|-)\" \"(%{WORD:[alicdn]request_method}|-) %{URIPROTO}://(?:%{USER}(?::[^@]*)?@)?(?:%{URIHOST:[alicdn]uri_host})?(?:%{URIPATHPARAM:[alicdn]uri})?\" %{BASE10NUM:[alicdn]http_code} (?:%{BASE10NUM:[alicdn]request_bytes}|-) (?:%{NUMBER:[alicdn]response_bytes}|-) (?:%{WORD:[alicdn]cache_result}|-) %{QS:[alicdn]agent} %{QS:[alicdn]file_type}

grok 调试网站

你猜用不用科学上网