logstash grok 解析Nginx

原创 2016年08月29日 17:41:22
log_format  main  '$remote_addr [$time_local] "$request" '
                      '$request_body $status $body_bytes_sent "$http_referer" "$http_user_agent" '
                      '$request_time $upstream_response_time';

zjtest7-frontend:/usr/local/logstash-2.3.4/config# cat loguat.cof 
input {
        file {
                type => "uat_nginx_access"
                path => ["/rsyslog/data/nginx/uat/nginx_access0*_log.*"]
        }
}

filter {
    grok {
        match =>{ 
          "message" => " %{IPORHOST:clientip} \[%{HTTPDATE:time}\] \"%{WORD:verb} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}\" \- %{NUMBER:http_status_code} %{NUMBER:bytes} \"(?<http_referer>\S+)\" \"(?<http_user_agent>(\S+\s+)*\S+)\".*"
          }
       
    }
    }

output {
      elasticsearch {
                hosts => "192.168.32.80:9200"
                index => "logstash-uat-test"
        }
		stdout {
			codec => rubydebug
		}
        }
{
             "message" => " 121.40.205.143 [29/Aug/2016:17:35:30 +0800] \"GET /wechat/hold_history.html HTTP/1.1\" - 200 2567 \"https://uatest.winfae.com/wechat/account_hold.html\" \"Mozilla/5.0 (iPhone; CPU iPhone OS 9_3_2 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Mobile/13F69 MicroMessenger/6.3.16 NetType/WIFI Language/zh_CN\" 0.000 -",
            "@version" => "1",
          "@timestamp" => "2016-08-29T09:38:14.182Z",
                "path" => "/rsyslog/data/nginx/uat/nginx_access01_log.2016-08-29",
                "host" => "0.0.0.0",
                "type" => "uat_nginx_access",
            "clientip" => "121.40.205.143",
                "time" => "29/Aug/2016:17:35:30 +0800",
                "verb" => "GET",
             "request" => "/wechat/hold_history.html",
         "httpversion" => "1.1",
    "http_status_code" => "200",
               "bytes" => "2567",
        "http_referer" => "https://uatest.winfae.com/wechat/account_hold.html",
     "http_user_agent" => "Mozilla/5.0 (iPhone; CPU iPhone OS 9_3_2 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Mobile/13F69 MicroMessenger/6.3.16 NetType/WIFI Language/zh_CN"
}

ELK收集Nginx日志,使用grok正则表达式(二)

一、Nginx日志例子 Nginx日志例子 nginx日志默认配置: log_format main '$remote_addr - $remote_user [$time_local]...
  • loophome
  • loophome
  • 2016年08月29日 16:02
  • 6853

logstash之grok过滤

简介  前面我们的nginx日志编码使用的json,logstash直接输入预定义好的 JSON 数据,这样就可以省略掉 filter/grok 配置,但是在我们的生产环境中,日志格式往往使用的是普通...
  • yanggd1987
  • yanggd1987
  • 2016年01月11日 12:31
  • 7236

logstash grok

利器。debug地址: https://grokdebug.herokuapp.com/ https://github.com/elastic/logstash/blob/v1.4.0/pat...
  • q1177660557
  • q1177660557
  • 2018年01月09日 12:06
  • 28

grok在python 中的使用

grok 意为“通过感觉会意”他比正则匹配更高级一些,在语法上略有不同,不过属于换汤不换药,正则熟悉的同学,grok对你来说也不会很难。grok很多语言已经支持,python 中也有第三方库,pygr...
  • sinat_21302587
  • sinat_21302587
  • 2017年11月17日 16:32
  • 1361

logstash 处理nginx 访问日志

[root@dr-mysql01 frontend]# cat logstash_frontend.conf input { file { type ...
  • zhaoyangjian724
  • zhaoyangjian724
  • 2016年08月24日 15:43
  • 5052

Logstash -- Nginx 日志收集处理!

Nginx 日志收集示例一:Logstash 默认自带了 apache 标准日志的 grok 正则:COMMONAPACHELOG %{IPORHOST:clientip} %{USER:ident}...
  • zxf_668899
  • zxf_668899
  • 2016年12月30日 11:23
  • 2973

nginx 模块开发高级篇

http://tengine.taobao.org/book/chapter_07.html 模块开发高级篇(30%) 变量(80%) 综述 在Nginx中同一个请求需...
  • guolong1983811
  • guolong1983811
  • 2016年12月14日 22:28
  • 195

elk 分析nginx访问和错误日志

1 nginx 日志格式配置 [root@elk-5-10 config]# cd /usr/local/nginx/conf/ [root@elk-5-10 conf]# vi nginx.con...
  • zyb378747350
  • zyb378747350
  • 2017年07月25日 16:57
  • 871

LOGSTASH+ELASTICSEARCH+KIBANA处理NGINX访问日志

Logstash+ElasticSearch+Kibana处理nginx访问日志 logstash shipper -> redis" style="color:rgb(54,115,165)...
  • joeyon
  • joeyon
  • 2015年06月25日 18:11
  • 1171

ELK测试:logstash解析nginx时间字段

下面比较 nginx配置中输出日志格式的时间字段在两种格式下的解析方法:$time_iso8601log_format json '{"@timestamp":"$time_iso8601",' ...
  • jianblog
  • jianblog
  • 2017年01月17日 17:18
  • 1982
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:logstash grok 解析Nginx
举报原因:
原因补充:

(最多只允许输入30个字)