prometheus-nginxlog-exporter构建Nginx日志监控

最新推荐文章于 2024-05-07 00:07:30 发布
最新推荐文章于 2024-05-07 00:07:30 发布
阅读量4.3k 收藏 1
点赞数
分类专栏： Ceph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oscarun/article/details/106979082
版权

lunimous 可以开启 dashborad
rgw 通过 prometheus-nginxlog-exporter 可以解析 Nginx 日志，还有一些正则可以去处理，然后通过 relabel 的配置，让其在指标数据上打上标签。

civetweb 没有在日志记录请求返回的时间，所以考虑用 Nginx 来替换，为了能给 Ceph RGW 加一个请求相关的监控，所以需要去解析日志，在 prometheus-nginxlog-exporter 中，通过配置文件，可以把标签和端口等设置好，然后让 prometheus 加上这个 endpoint 就可以拉出来数据了。

listen {
  port = 4040
}

enable_experimental = true

namespace "nginx" {
  source = {
    files = [
      "/var/log/nginx/access.log"
    ]
  }

  format = "$remote_addr - $remote_user [$time_local] \"$request\" $status $body_bytes_sent \"$request_time\""

  labels {
    app = "default"
  }

  #relabel "request" {
  #  from = "request"
  #}

  relabel "bucket" {
    from = "request"
    split = 2
    match "^/general__lingqu/.*" {
      replacement = "general__lingqu"
    }
  }
}

Nginx 日志。

xx.xx.xxx.x - - [26/Jun/2020:01:23:37 +0800] "GET /general__lingqu/kp/out/390280/n1590907415729/107916/20200601220441/_SUCCESS HTTP/1.1" 200 0 "0.001"
xx.xx.xxx.x - - [26/Jun/2020:01:23:43 +0800] "GET /general__lingqu/kp/out/390280/n1590907415729/107916/20200601220441/part-00000 HTTP/1.1" 200 1165212977 "6.006"
xx.xx.xxx.x - - [26/Jun/2020:01:23:49 +0800] "GET /general__lingqu/kp/out/390280/n1590907415729/107916/20200601220441/part-00001 HTTP/1.1" 200 1180678766 "6.130"
xx.xx.xxx.x - - [26/Jun/2020:01:23:55 +0800] "GET /general__lingqu/kp/out/390280/n1590907415729/107916/20200601220441/part-00002 HTTP/1.1" 200 1181307932 "6.049"
xx.xx.xxx.x - - [26/Jun/2020:01:24:01 +0800] "GET /general__lingqu/kp/out/390280/n1590907415729/107916/20200601220441/part-00003 HTTP/1.1" 200 1207342395 "6.138"
xx.xx.xxx.x - - [26/Jun/2020:01:24:08 +0800] "GET /general__lingqu/kp/out/390280/n1590907415729/107916/20200601220441/part-00004 HTTP/1.1" 200 1198727695 "6.080"
xx.xx.xxx.x - - [26/Jun/2020:01:24:14 +0800] "GET /general__lingqu/kp/out/390280/n1590907415729/107916/20200601220441/part-00005 HTTP/1.1" 200 1206446826 "6.137"
xx.xx.xxx.x - - [26/Jun/2020:01:24:20 +0800] "GET /general__lingqu/kp/out/390280/n1590907415729/107916/20200601220441/part-00006 HTTP/1.1" 200 1204772146 "6.144"
xx.xx.xxx.x - - [26/Jun/2020:01:24:26 +0800] "GET /general__lingqu/kp/out/390280/n1590907415729/107916/20200601220441/part-00007 HTTP/1.1" 200 1165911854 "5.985"
xx.xx.xxx.x - - [26/Jun/2020:01:24:32 +0800] "GET /general__lingqu/kp/out/390280/n1590907415729/107916/20200601220441/part-00008 HTTP/1.1" 200 1179420268 "6.077"

prometheus-nginxlog-exporter 采集到的指标。

# HELP nginx_http_response_count_total Amount of processed HTTP requests
# TYPE nginx_http_response_count_total counter
nginx_http_response_count_total{app="default",bucket="",method="GET",status="200"} 1
nginx_http_response_count_total{app="default",bucket="general__lingqu",method="DELETE",status="204"} 2
nginx_http_response_count_total{app="default",bucket="general__lingqu",method="GET",status="200"} 214
nginx_http_response_count_total{app="default",bucket="general__lingqu",method="HEAD",status="200"} 8474
nginx_http_response_count_total{app="default",bucket="general__lingqu",method="PUT",status="200"} 5
# HELP nginx_http_response_size_bytes Total amount of transferred bytes
# TYPE nginx_http_response_size_bytes counter
nginx_http_response_size_bytes{app="default",bucket="",method="GET",status="200"} 338
nginx_http_response_size_bytes{app="default",bucket="general__lingqu",method="DELETE",status="204"} 0
nginx_http_response_size_bytes{app="default",bucket="general__lingqu",method="GET",status="200"} 2.1549611919e+10
nginx_http_response_size_bytes{app="default",bucket="general__lingqu",method="HEAD",status="200"} 0
nginx_http_response_size_bytes{app="default",bucket="general__lingqu",method="PUT",status="200"} 0
# HELP nginx_http_response_time_seconds Time needed by NGINX to handle requests
# TYPE nginx_http_response_time_seconds summary
nginx_http_response_time_seconds{app="default",bucket="",method="GET",status="200",quantile="0.5"} NaN
nginx_http_response_time_seconds{app="default",bucket="",method="GET",status="200",quantile="0.9"} NaN
nginx_http_response_time_seconds{app="default",bucket="",method="GET",status="200",quantile="0.99"} NaN
nginx_http_response_time_seconds_sum{app="default",bucket="",method="GET",status="200"} 0.002
nginx_http_response_time_seconds_count{app="default",bucket="",method="GET",status="200"} 1
nginx_http_response_time_seconds{app="default",bucket="general__lingqu",method="DELETE",status="204",quantile="0.5"} 0.002
nginx_http_response_time_seconds{app="default",bucket="general__lingqu",method="DELETE",status="204",quantile="0.9"} 0.009
nginx_http_response_time_seconds{app="default",bucket="general__lingqu",method="DELETE",status="204",quantile="0.99"} 0.009
nginx_http_response_time_seconds_sum{app="default",bucket="general__lingqu",method="DELETE",status="204"} 0.011
nginx_http_response_time_seconds_count{app="default",bucket="general__lingqu",method="DELETE",status="204"} 2
nginx_http_response_time_seconds{app="default",bucket="general__lingqu",method="GET",status="200",quantile="0.5"} 0.014
nginx_http_response_time_seconds{app="default",bucket="general__lingqu",method="GET",status="200",quantile="0.9"} 0.112
nginx_http_response_time_seconds{app="default",bucket="general__lingqu",method="GET",status="200",quantile="0.99"} 7.037
nginx_http_response_time_seconds_sum{app="default",bucket="general__lingqu",method="GET",status="200"} 115.89000000000006
nginx_http_response_time_seconds_count{app="default",bucket="general__lingqu",method="GET",status="200"} 214
nginx_http_response_time_seconds{app="default",bucket="general__lingqu",method="HEAD",status="200",quantile="0.5"} 0.002
nginx_http_response_time_seconds{app="default",bucket="general__lingqu",method="HEAD",status="200",quantile="0.9"} 0.002
nginx_http_response_time_seconds{app="default",bucket="general__lingqu",method="HEAD",status="200",quantile="0.99"} 0.024
nginx_http_response_time_seconds_sum{app="default",bucket="general__lingqu",method="HEAD",status="200"} 22.99799999999861
nginx_http_response_time_seconds_count{app="default",bucket="general__lingqu",method="HEAD",status="200"} 8474
nginx_http_response_time_seconds{app="default",bucket="general__lingqu",method="PUT",status="200",quantile="0.5"} NaN
nginx_http_response_time_seconds{app="default",bucket="general__lingqu",method="PUT",status="200",quantile="0.9"} NaN
nginx_http_response_time_seconds{app="default",bucket="general__lingqu",method="PUT",status="200",quantile="0.99"} NaN
nginx_http_response_time_seconds_sum{app="default",bucket="general__lingqu",method="PUT",status="200"} 0.839
nginx_http_response_time_seconds_count{app="default",bucket="general__lingqu",method="PUT",status="200"} 5

Reference

  1. https://github.com/martin-helmich/prometheus-nginxlog-exporter
  2. https://www.martin-helmich.de/en/blog/monitoring-nginx.html
runzhliu
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
nginx-log-exporter：一个用于Prometheus指标的Nginx日志导出器
02-04
nginx-log-exporter 用于Prometheus指标的Nginx日志解析器导出器。 安装 去获取github.com/songjiayang/nginx-log-exporter 或使用发行 用法 nginx-log-exporter -h Usage of: -config.file string Nginx log exporter configuration file name. (default "config.yml") -web.listen-address string Address to listen on for the web
prometheus-nginxlog-exporter:将指标从Nginx访问日志文件导出到Prometheus
05-01
NGINX到Prometheus日志文件导出器 不断读取NGINX日志文件（或任何类似日志文件）并将度量导出到帮助程序工具。 内容 配置文件 高级功能 命名空间作为标签 自定义标签直通 日志来源 动态重新贴标签 文件球 JSON log_format 经常问的问题 学分 用法 您可以使用简单的配置（使用命令行标志），也可以使用更高级的配置创建配置文件。 使用命令行： $ ./prometheus-nginxlog-exporter \ -format="<FORMAT>" \ -listen-port=4040 \ -namespace=nginx \ [PATHS-TO-LOGFILES...] 使用配置文件： $ ./prometheus-nginxlog-exporter -config-file /path/to/config.hcl 您可
nginx接入prometheus
qq876868629的博客
11-02 1689
一、安装nginx插件:nginx-module-vts 1.下载nginx源码,这里使用nginx/1.20.1,并上传至服务器 2.下载nginx-module-vts源码,上传至服务器, 解压到/home/op/backup/nginx-module-vts目录 3.查看当前服务器运行的nginx配置 nginx -V 命令执行后打印出信息: nginx version: nginx/1.20.1 built by gcc 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC)
Prometheus 监控Nginx 日志 - Kubernetes版本
少说多做
05-14 2042
背景 公司有个项目通过Nginx做反向代理，每个服务分配了一个URL(映射关系如下）,公司想统计每个URL的访问总量。 location /automation-api/ { proxy_pass http://serverstatistics-automation-api-dev:9980/; } location /utilization/ { proxy_pass http://serverstatistics-utilization-...
10分钟快速使用Prometheus监控nginx
最新发布
u011197085的博客
05-07 582
这些步骤概括了从下载到设置自动启动的整个流程。如果你遇到任何具体问题或需要更详细的帮助，随时告诉我！在 Linux 系统中使用二进制文件安装。创建一个没有登录权限的新用户。，以便可以用系统服务管理。
prometheus nginx log exporter
12-15 971
prometheus nginx log exporter. 详见：https://github.com/11061055/nginx-log-exporter 可以简单修改实现除nginx以外的日志导出。
第一次开源项目代码贡献 - prometheus-nginxlog-exporter
qq_35753140的博客
02-28 945
2021年2月26日，我的第一次开源项目代码贡献被合并了。 这完成了我一个宿愿。几年前老罗向 OpenSSL 捐献手机发布会门票款，我在上班的地铁上看到《隐形战友》这篇文章，有点激动，许下一个心愿：此生哪怕为开源项目贡献一行代码。后来在做模型开发的时候开始参与社区，翻译了一些 Flink 的文档，Flink 的大部分维护者是国人，主力是阿里。大项目要想参与代码贡献是比较难的，尤其是真正有意义的代码，做一做 lint 不能算。所以我先从翻译文档开始，在翻译的过程中可以比较细致的学习项目的功能，同时提高英语读
推荐开源项目：Prometheus Nginxlog Exporter
gitblog_00036的博客
04-11 409
推荐开源项目：Prometheus Nginxlog Exporter 项目地址:https://gitcode.com/martin-helmich/prometheus-nginxlog-exporter 在监控和度量现代Web应用时，Prometheus是一个广泛使用的开源系统，而Nginx作为流行的反向代理和负载均衡器，其日志数据的利用至关重要。Martin Helmich开发的Prome...
ansible-role-prometheus-nginxlog-exporter:Prometheus Nginx日志导出器的辅助角色
05-01
Ansible角色：prometheus-nginxlog-exporter 用于安装和配置器的角色。 当前，这在基于Debian和RedHat的linux系统上有效。 经过测试的平台是： Ubuntu 16.04 CentOS的7要求无特殊要求； 请注意，此角色需要root用户...
nginx-prometheus-exporter:适用于 NGINX 和 NGINX Plus 的 NGINX Prometheus 导出器
08-04
NGINX Prometheus 导出器使使用 Prometheus 监控 NGINX 或 NGINX Plus 成为可能。 概述 通过公开了一些指标。 通过和提供了一组更丰富的指标。 NGINX Prometheus 导出器从单个 NGINX 或 NGINX Plus 获取指标，将指标...
nginx-prometheus-exporter-0.11.0-linux-386.tar.gz
08-31
nginx-prometheus-exporter_0.11.0_linux_386.tar.gz 普罗米修斯监控nginx exporter文件
CloudWatchLogExporter
02-11
CloudWatch Log Exporter 这是一个Lambda函数，它从CloudWatch Logs接收日志条目，并将其作为自定义事件推送到New Relic Insights。 将日志导出到New Relic Insights后，您可以详细分析日志的统计信息（例如，日志文件中的错误数量），还可以使用具有New Relic Alerts出色功能的ALERT IT 。 像这样 收集指标 它根据在每个日志流中发送以下内容。 所有者 日志组 ID 时间戳记 信息 关于发送自定义事件 将自定义事件发送到New Relic Insights的命令 gzip -c example_events.json | curl -X POST -H "Content-Type: application/json" -H "X-Insert-Key: YOUR_KEY_HERE" -H "Con
用Prometheus细化Nginx监控
09-19
用Prometheus细化Nginx监控
grok_exporter, 从任意非结构化日志数据导出普罗米修斯.zip
09-17
grok_exporter, 从任意非结构化日志数据导出普罗米修斯 grok_exporter从任意非结构化日志数据导出 Prometheus 。关于 Grok是一种工具，用来将无用的非结构化日志数据解析为结构和查询。 Grok在中大量使用，以提供日志数据作为 ElasticSear
Nginx自定义访问日志的配置方式
09-30
Nginx日志主要分为两种：访问日志和错误日志。访问日志主要记录客户端访问Nginx的每一个请求，格式可以自定义。下面这篇文章主要给大家介绍了Nginx自定义访问日志的配置方式，需要的朋友可以参考学习，下面来一起看看吧。
Jenkins没有网络，实例离线
m0_50179122的博客
11-08 908
jenkins实例似乎离线 jenkins没有网络，报错 UnknownHostException，如果你尝试了很多文章都提到的替换url地址，但是没什么用，说明你的jenkins可能并没有网络。 如果是用docker启动的jenkins，需要添加参数docker run -it --rm --network=host jenkins /bin/bash，这样容器才能使用到物理机的网络。 如果是k8s部署的jenkins，则需要添加hostNetwork: true字段，加在跟container字段同级
prometheus nginx-prometheus-exporter 二进制
oToyix的博客
01-06 2672
nginx location /status { stub_status; access_log off; allow 127.0.0.1; allow 192.168.1.0/24; deny all; } 启动 wget -c https://github.com/nginxinc/nginx-prometheu
nginx-exporter部署
m0_59207224的博客
01-17 4427
nginx_exporter手册 首先查看已编译模块看是否有nginx_exporter所依赖的模块 nginx-module-vts cd /opt/nginx-1.16.1/sbin/ ./nginx -V 如果没有该模块需要重新编译进去，就需要下载同版本的nginx编译复制其命令 先下载需要的模块 下载上传nginx-module-vts rz nginx-module-vts.tar.gz tar xvaf nginx-module-vts.tar.gz -C /.
prometheus 监控 nginx 日志
03-11
好的，我可以回答这个问题。Prometheus 是一种开源的监控系统，可以监控...在监控 Nginx 日志方面，可以使用 Prometheus 的 exporter 来收集 Nginx 的指标数据，并将其存储在 Prometheus 中，以便进行分析和可视化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值