logstash nginx 访问日志

原创 2016年08月30日 14:53:45
   log_format  main  '$remote_addr [$time_local] "$request" '
                      '$request_body $status $body_bytes_sent "$http_referer" "$http_user_agent" '
                      '$request_time $http_x_forwarded_for';
					  
	filter {
    grok {
        match => {
             "message" => "%{IPORHOST:clientip} \[%{HTTPDATE:time}\] \"%{WORD:verb} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}\" \- %{NUMBER:http_status_code} %{NUMBER:bytes} \"(?<http_referer>\S+)\" \"(?<http_user_agent>(\S+\s+)*\S+)\" (%{BASE16FLOAT:request_time}) (%{IPORHOST:http_x_forwarded_for}|-)"
        }
    }   
}
{
                 "message" => " 10.168.102.19 [30/Aug/2016:14:53:05 +0800] \"GET /resources/plugins/artDialog/dialog-min.js?v=1&_=1472539986766 HTTP/1.1\" - 200 9946 \"https://wenjinbao.winfae.com/login.html\" \"Mozilla/5.0 (Linux; Android 5.1; HUAWEI RIO-UL00 Build/HUAWEIRIO-UL00) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/37.0.0.0 Mobile MQQBrowser/6.2 TBS/036558 Safari/537.36 MicroMessenger/6.3.23.840 NetType/WIFI Language/zh_CN\" 0.001 60.181.22.131",
                "@version" => "1",
              "@timestamp" => "2016-08-30T06:53:27.972Z",
                    "path" => "/data01/applog_backup/winfae_log/wj-frontend01-access.2016-08-30",
                    "host" => "dr-mysql01.zjcap.com",
                    "type" => "wj_frontend_access",
                "clientip" => "10.168.102.19",
                    "time" => "30/Aug/2016:14:53:05 +0800",
                    "verb" => "GET",
                 "request" => "/resources/plugins/artDialog/dialog-min.js?v=1&_=1472539986766",
             "httpversion" => "1.1",
        "http_status_code" => "200",
                   "bytes" => "9946",
            "http_referer" => "https://wenjinbao.winfae.com/login.html",
         "http_user_agent" => "Mozilla/5.0 (Linux; Android 5.1; HUAWEI RIO-UL00 Build/HUAWEIRIO-UL00) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/37.0.0.0 Mobile MQQBrowser/6.2 TBS/036558 Safari/537.36 MicroMessenger/6.3.23.840 NetType/WIFI Language/zh_CN",
            "request_time" => "0.001",
    "http_x_forwarded_for" => "60.181.22.131"
}				  

使用logstash收集nginx访问日志

首先安装logstash,这个非常简单,不赘述。建议把所有插件都安装上,省心。 然后要配置一下logstash for nginx。logstash基本原理:input => filter => o...

logstash通过kafka传输nginx日志(三)

单个进程 logstash 可以实现对数据的读取、解析和输出处理。但是在生产环境中,从每台应用服务器运行 logstash 进程并将数据直接发送到 Elasticsearch 里,显然不是第一选择:第...

Logstash -- Nginx 日志收集处理!

Nginx 日志收集示例一:Logstash 默认自带了 apache 标准日志的 grok 正则:COMMONAPACHELOG %{IPORHOST:clientip} %{USER:ident}...

新版本logstash+elasticsearch+redis+nginx 日志收集系统搭建

一、原理: 上图可见,一共分为5个部分,shipper是我们部署在我们需要采集日志的机器上,broker汇聚这些日志,然后统一传到indexer上,ElasitcSearch是一个搜...

logstash通过kafka传输nginx日志

http://www.cnblogs.com/Orgliny/p/5730381.html 单个进程 logstash 可以实现对数据的读取、解析和输出处理。但是在生产环境中,从每台应用服务...

logstash通过rsyslog对nginx的日志收集和分析

logstash通过rsyslog对nginx的日志收集和分析 http://bbotte.blog.51cto.com/6205307/1613571 logstash&elasticsear...
  • mtm2012
  • mtm2012
  • 2015年03月16日 11:04
  • 188

logstash,nginx日志,grok pattern调试

#Nginx日志格式定义 log_format combine '$remote_addr - $remote_user [$time_local] "$request" $h...

Logstash+Redis+Elasticsearch+Kibana+Nginx搭建日志分析系统

前言: 随着实时分析技术的发展及成本的降低,用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博、微盘、云存储、弹性计算平台等十多个部门的多个产品的日志搜索分析业务,每天处理约32亿条(2TB)...

使用logstash配置nginx和tomcat日志统一收集到一台日志服务器

相关服务器安装jdk和redis请参考 http://blog.csdn.net/u013619834/article/details/38894649 http://blog.csdn.net/u0...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:logstash nginx 访问日志
举报原因:
原因补充:

(最多只允许输入30个字)