ELK实践（二）nginx日志分析

最新推荐文章于 2024-09-21 22:08:31 发布
最新推荐文章于 2024-09-21 22:08:31 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： ELK 文章标签： ELK
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wfs1994/article/details/80937756
版权

一、了解数据及建模

在生产环境中，nginx日志格式往往使用的是自定义的格式，我们需要把logstash中的message结构化后再存储，方便kibana的搜索和统计，因此需要对message进行解析。

logstash中默认存在一部分正则让我们来使用，可以在$logstash/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns目录里面查看。基本定义在grok-patterns中，我们可以使用其中的正则，当然并不是所有的都适合nginx字段，这时就需要我们自定义正则，然后通过指定patterns_dir来调用。

logstash自带的grok正则中有Apache的标准日志格式：

# Log formats
HTTPD_COMMONLOG %{IPORHOST:clientip} %{HTTPDUSER:ident} %{HTTPDUSER:auth} \[%{HTTPDATE:timestamp}\] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response} (?:%{NUMBER:bytes}|-)
HTTPD_COMBINEDLOG %{HTTPD_COMMONLOG} %{QS:referrer} %{QS:agent}
# Deprecated
COMMONAPACHELOG %{HTTPD_COMMONLOG}
COMBINEDAPACHELOG %{HTTPD_COMBINEDLOG}

对于nginx标准日志格式，可以发现只是最后多了一个 $http_x_forwarded_for 变量。则nginx标准日志的grok正则定义为：

MAINNGINXLOG %{COMBINEDAPACHELOG} %{QS:x_forwarded_for}

对于自定义格式的日志，只需要在此基础上对对自定义部分进行定义即可。

数据样例：

114.248.161.26 - - [10/Nov/2016:00:01:02 +0800] "POST /api3/getcourseintro HTTP/1.1" 200 2510 "www.imooc.com" "-" cid=283&secrect=86b720f312c2b25da3b20e59e7c89780&timestamp=1478707261951&token=4c144b3f4314178b9527d1e91ecc0fac&uid=3372975 "mukewang/5.0.2 (iPhone; iOS 8.4.1;Scale/2.00)" "-" 10.100.136.65:80 200 0.007 0.008

正则匹配：

%{IPORHOST:clientip} %{HTTPDUSER:ident} %{HTTPDUSER:auth} \[%{HTTPDATE:[@metadata][timestamp]}\] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response_status_code} (?:%{NUMBER:bytes}|-) %{QS:hostname} %{QS:referrer} (?:-|%{DATA:params}) %{QS:agent} %{QS:x_forwarded_for} (?:-|%{URIHOST:upstream_host}) (?:-|%{NUMBER:upstream_response_status_code}) (?:-|%{BASE10NUM:upstream_response_time}) %{BASE10NUM:response_time:float}

数据建模
创建nginx访问日志的索引模板

PUT _template/nginx_logs
{
  "index_patterns":"nginx_logs*",
  "settings": {
    "index": {
      "number_of_shards": 5,
      "number_of_replicas":1,
      "refresh_interval":"30s"
    }
  },
  "mappings": {
    "doc": {
      "dynamic": false,
      "properties": {
        "@timestamp": {
          "type": "date"
        },
        "@version": {
          "type": "keyword",
          "ignore_above": 256
        },
        "agent": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "auth": {
          "type": "keyword",
          "ignore_above": 256
        },
        "bytes": {
          "type": "long"
        },
        "clientip": {
          "type": "keyword",
          "ignore_above": 256
        },
        "geoip": {
          "properties": {
            "city_name": {
              "type": "keyword",
              "ignore_above": 256
            },
            "continent_code": {
              "type": "keyword",
              "ignore_above": 256
            },
            "country_code2": {
              "type": "keyword",
              "ignore_above": 256
            },
            "country_code3": {
              "type": "keyword",
              "ignore_above": 256
            },
            "country_name": {
              "type": "keyword",
              "ignore_above": 256
            },
            "ip": {
              "type": "keyword",
              "ignore_above": 256
            },
            "latitude": {
              "type": "half_float"
            },
            "location": {
              "type": "geo_point"
            },
            "longitude": {
              "type": "half_float"
            },
            "region_code": {
              "type": "keyword",
              "ignore_above": 256
            },
            "region_name": {
              "type": "keyword",
              "ignore_above": 256
            },
            "timezone": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "host": {
          "type": "keyword",
          "ignore_above": 256
        },
        "hostname": {
          "type": "keyword",
          "ignore_above": 256
        },
        "httpversion": {
          "type": "keyword",
          "ignore_above": 256
        },
        "ident": {
          "type": "keyword",
          "ignore_above": 256
        },
        "params": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "port": {
          "type": "keyword",
          "ignore_above": 256
        },
        "referrer": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "referrer_host": {
          "type": "keyword",
          "ignore_above": 256
        },
        "request": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "response_status_code": {
          "type": "keyword",
          "ignore_above": 256
        },
        "response_time": {
          "type": "float"
        },
        "upstream_host": {
          "type": "keyword",
          "ignore_above": 256
        },
        "upstream_response_status_code": {
          "type": "keyword",
          "ignore_above": 256
        },
        "upstream_response_time": {
          "type": "float"
        },
        "useragent": {
          "properties": {
            "build": {
              "type": "keyword",
              "ignore_above": 256
            },
            "device": {
              "type": "keyword",
              "ignore_above": 256
            },
            "name": {
              "type": "keyword",
              "ignore_above": 256
            },
            "os": {
              "type": "keyword",
              "ignore_above": 256
            },
            "os_major": {
              "type": "keyword",
              "ignore_above": 256
            },
            "os_minor": {
              "type": "keyword",
              "ignore_above": 256
            },
            "os_name": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "verb": {
          "type": "keyword",
          "ignore_above": 256
        },
        "xforwardedfor": {
          "type": "keyword",
          "ignore_above": 256
        }
      }
    }
  }
}

二、导入数据

input {
        file {
                path => "/home/wfs/project/imooc_log/access.20161111.log"
                #sincedb_path => "/dev/null"
                start_position => "beginning"
        }
}
filter {
        #mutate{add_field => {"[@metadata][debug]"=>true}}
        grok {
                match => {"message" => '%{IPORHOST:clientip} %{HTTPDUSER:ident} %{HTTPDUSER:auth} \[%{HTTPDATE:[@metadata][timestamp]}\] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response_status_code} (?:%{NUMBER:bytes}|-) %{QS:hostname} %{QS:referrer} (?:-|%{DATA:params}) %{QS:agent} %{QS:x_forwarded_for} (?:-|%{URIHOST:upstream_host}) (?:-|%{NUMBER:upstream_response_status_code}) (?:-|%{BASE10NUM:upstream_response_time}) %{BASE10NUM:response_time:float}'}
                #remove_field => ["message"]
        }
        date {
                match => ["[@metadata][timestamp]","dd/MMM/yyyy:HH:mm:ss Z"]
        }
        geoip {
                source => "clientip"
                #fields => ["location","country_name","city_name","region_name"]
        }
        useragent {
                source => "agent"
                target => "useragent"
        }
        mutate {
                add_field => { "[@metadata][index]" => "nginx_logs-%{+YYYY.MM.dd}"}
        }
        if [referrer] =~ /^"http/ {
                grok{ 
                        match => {"referrer" => '%{URIPROTO}://%{URIHOST:referrer_host}'}
                }
        }
        if "_grokparsefailure" in [tags] {
                mutate {
                        replace => { "[@metadata][index]" => "nginx_logs_failure-%{+YYYY.MM.dd}"}
                }
        }else {
                mutate{remove_field=>["message"]}
        }

}
output {
        if [@metadata][debug]{
                stdout{codec=>rubydebug{metadata=>true}}
        }else{
                stdout{codec=>dots}
                elasticsearch {
                        hosts => [ "192.168.20.101:9200","192.168.20.102:9200" ]
                        index => "%{[@metadata][index]}"
                        user => "elastic"
                        password => "123456"
                }
        }
}

三、数据实战分析

对日志分析重要的是要知道通过日志我们能能获取到哪些信息要分析什么，这样才能够创建对应的可视化图标进行展示。
以nginx访问日志为例：
nginx访问分析：

  • 访问人数？流量？请求QPS？
  • 访问来源分布？访问站点分布？访问页面排名？
  • 请求响应时间分布？
  • 请求响应代码分布？
  • 访问地图分布？

业务数据分析：业务数据根据具体业务场景进行分析，例如：

  • 访问量最大的是视频还是文章
  • 最受欢迎视频、文章有哪些？
  • 最努力的用户是谁？兴趣最广泛的用户是谁？
  • 用户那个时间段最活跃？

这里只对nginx做访问分析，像访问次数、用户分布啊之类的不做介绍，整理一下在可视化过程中需要注意的一些地方：
1，请求QPS：这里使用的是Timelion，有个小技巧，这里只需把计算间隔指定到1s即可：

.es(index=nginx_logs*).label(qps).scale_interval(interval=1s)

2，请求响应代码分布情况：使用Visual Builder，对异常请求做个过滤，然后在分组

!response_status_code:(200 OR 301 OR 304 OR 302 OR 206)

这里写图片描述

3，响应时间分布：使用热力图
这里写图片描述
对于响应时间大于1s的请求，只需要添加一个过滤条件即可：response_time:>1

4，流量单位问题：
访问流量时间分布图：在options选项中修改Data Formatter格式为Bytes即可。
总流量图：使用Metric没有找到单位换算的选项，最后换成了Visual Builder，有个地方需要注意：
这里写图片描述

5，地图展示：
Coordinate Map：前提mapping中location字段设置为geoip类型
Region Map：需要在kibana的配置文件中配置如下选项：

regionmap:
  includeElasticMapsService: true

这里写图片描述
6，总访问资源数：对request.keyword的Unique Count；
总访问用户数 breakdown by city：需要先对clientip做去重处理；
7，本来想对来源网站做个Tag Cloud，但是第一次导入数据时没有对referrer做进一步的过滤，所以这里只做一个展示，并没有添加到dashboard中。
这里写图片描述

最后整个nginx日志分析的效果如下所示：
这里写图片描述

wfs1994
关注
专栏目录
Nginx与日志分析：使用ELK Stack
java专栏
07-26 1094
一个基于Lucene的搜索引擎，用于存储和索引日志数据。Logstash：一个数据收集和处理管道，用于收集日志并发送到Elasticsearch。Kibana：一个可视化工具，用于展示和分析Elasticsearch中的数据。
Nginx与日志聚合：ELK Stack集成
java专栏
07-23 904
一个基于Lucene的搜索引擎，用于存储和索引日志数据。Logstash：一个数据收集和处理管道，用于收集日志并发送到Elasticsearch。Kibana：一个可视化工具，用于展示和分析Elasticsearch中的数据。
基于ELK的nginx-qps监控解决方案.docx
10-26
基于ELK的nginx-qps监控解决方案.docx
ELK对Nginx日志进行分析
chenhonggu5690的博客
12-09 209
一、整体架构 二、整体概述： 从上图可以看出，日志首先被收集到redis当中，进行缓冲，再通过logstash收集到elasticsearch集群进行索引创建，根据需求进行维度上的组合，最后kibana实现elasticsearch的restful风格接...
ELK监控nginx日志
最新发布
2401_87373807的博客
09-21 799
events { use epoll; worker_connections 2048; }include /opt/verynginx/verynginx/nginx_conf/in_external.conf;http { include mime.types; log_format main escape=json ‘{“accessip_list”:“KaTeX parse error: Double superscript at position 68: …
elk之nginx
weixin_30294295的博客
08-11 99
elk之nginx: ignore_older => 86400，不处理一天以前的文件。 zjtest7-frontend:/usr/local/logstash-2.3.4/config# cat logstash_agent.conf input { file { type => "zj_nginx_access"...
elk分析nginx日志
镜水灵动
08-22 811
在生产环境中，nginx日志格式往往使用的是自定义的格式，我们需要把logstash中的message结构化后再存储，方便kibana的搜索和统计，因此需要对message进行解析。 logstash自带的grok正则中有Apache的标准日志格式： COMMONAPACHELOG %{IPORHOST:clientip} %{HTTPDUSER:ident} %{USER:auth} \[...
elk添加nginx日志分析
kxq的博客
07-01 371
1.修改nginx配置 nginx需要把日志收集成json字符串;类型: nginx.conf文件 注释掉: #log_format main '$remote_addr - $remote_user [$time_local] "$request" ' # '$status $body_bytes_sent "$http_referer" ' # '"$http_user_agent" "$http_x_forwar
ELK（二）nginx日志分析
热门推荐
刘本龙的专栏
12-21 1万+
简介由于公司没有日志收集系统，所以之前搭建了一个ELK日志收集分析系统，如此一来查询日志就方便了很多，再加上ELK的一些方便实用的索引分析功能，可以将数据已图表形式展现，一目了然。网上好多都是采用了ELK+redis的架构，但考虑到目前公司业务不是很多，所以没有加入redis一层 ELK的安装请参考我上一篇文章 ELK环境搭建 日志收集配置其实你的ELK系统搭建完成以后，剩下的主要就是logst
ELK -分析nginx 日志
Jay的专栏
06-12 1162
logstash有agent和indexer两个角色。对于agent角色，放在单独的web机器上面，然后这个agent不断地读取nginx的日志文件，每当它读到新的日志信息以后，就将日志传送到网络上的一台redis队列上。对于队列上的这些未处理的日志，有不同的几台logstash indexer进行接收和分析。分析之后存储到elasticsearch进行搜索分析。再由统一的kibana进行日志web
Nginx日志采集分析之：elk收集Nginx日志
那个那个
07-20 1593
ELK收集Nginx（json格式）并进行展示 一、背景描述 生产环境部署有elk环境，收集日志流程：filebeat -- > redis --> logstash --> elasticsearch --> kibana。 注：环境安装可以自行百度，这里直接讲解收集nginx日志到elk。 二、配置Nginx ①、设置Nginx 日志收集格式 Nginx日志格式设置 以收集Nginx访问日志为例，我们希望能统计到api接口调用排行，浏览器类型，操作系统类型，http状
ELK详细分析nginx日志
【CSDN官方推荐】
01-26 709
1. 实验规划 主机地址 安装服务 192.168.153.134 elasticsearch 192.168.153.135 logstash 192.168.153.136 kibana 2. ELK安装 参考博客链接>> https://blog.csdn.net/m0_46674735/article/details/112004006 3. logstash服务器的配置 3.1 上传模板文件nginx_access到/usr/share/logstash/v
ELK分析Nginx统计QPS图表
bbq烤鸡的后宫
01-29 2047
ELK分析Nginx实现统计QPS图表前言实现① 指标设置添加Y轴② 存储设置添加拆分系列③ 存储设置添加X轴效果不完美点最后 此文版本为7.10.1 前言 Nginx作为服务下游入口，统计Nginx日志可以获取到很多有价值的信息。 实现 ① 指标设置添加Y轴 由于Nginx日志时间精确到秒，所以聚合时间字段同一个值为一个存储桶，这个存储桶数量——即这一秒的QPS，统计多个桶的最大值——即单位时间段内的最大QPS ② 存储设置添加拆分系列 老规矩添加拆分系列，拆分以独立统计访问量前五的接口的QPS。
ELK数据分析实战：导入nginx日志到ELK进行分析
qq_32384985的博客
01-04 1078
这里以下面需求为例，描述如何使用ELK做数据分析示例需求：从线上down下来的nginx日志文件要求分析，并出图表，找到慢且访问量大的接口前置要去：需要读者基本了解Elasticsearch和Kibana。
安装部署ELK收集nginx日志
weijiajia123456的博客
08-05 1041
修改elasticsearch的配置文件elasticsearch.yml，以允许跨域访问，在文末追加如下代码即可。修改elasticsearch-head默认连接地址，将localhost改为本机IP。安装：# yum install -y elasticsearch-7.2.0。（5）修改elasticSearch配置文件并启动ElasticSearch。三台机器都是CentOS 7.6，内存>=3G。三台机器都部署jdk，建议内存3G以上。(1)安装head插件。(2)下载head插件。.......
ELK分析Nginx日志教程：Logstash配置与实践
本文详细介绍了如何使用ELK（Elasticsearch、Logstash 和 Kibana）工具链对Nginx服务器日志进行分析。首先，提到从官方下载ELK安装包，尽管官网下载速度可能较慢，但稳定可靠，下载地址为。在Logstash 1.5.1版本更新...
elk收集nginx
weixin_51886593的博客
10-26 90
前提：两台已安装elk的服务器和客户端 客户端 关闭防火墙 systemctl stop firewalld setenforce 0 编译安装nginx yum -y install gcc gcc-c++ pcre-devel zlib-devel openssl-devel cd cd nginx-1.19.2/ ./configure && make && make install /usr/local/nginx/sbin/nginx/ chmod -R 777 /
ELK使用filter收集nginx日志-07
weixin_34199405的博客
04-11 314
修改nginx日志格式 log_format hanye '$proxy_add_x_forwarded_for $remote_user [$time_local] "$request" $http_host' '[$body_bytes_sent] $request_body "$http_referer" "$http_user_agent" [$ssl_protocol] ...
[ELK] Nginx 监控
唐僧没有肉的博客
08-03 430
一、安装nginx 1.11.10 #yum -y install zlib zlib-devel openssl openssl-devel pcre pcre-devel # cd/usr/local/src #tar -zxvf nginx-1.11.10.tar.gz # cdnginx-1.11.10 #./configure --prefix=/usr/local/nginx
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值