nginx记录响应与POST请求日志

最新推荐文章于 2023-12-10 17:46:40 发布
最新推荐文章于 2023-12-10 17:46:40 发布
阅读量465 收藏
点赞数
文章标签： 运维 python
原文链接：http://www.cnblogs.com/duyinqiang/p/5696396.html
版权

生产环境中的某些api出现故障，但是问题无法重现，但是又很想解决掉问题以及我们新项目上线，需要跟踪请求与响应的信息，可以预先找到一些bug，减少大面积的损失。
安装nginx与ngx_lua
响应日志需要lua的支持，
请参考ttlsa之前的文章《nginx + ngx_lua安装测试》
备注：安装过程中，发现nginx-1.9.0版本与ngx_lua不兼容，所以我换成nginx-1.4.2
 
nginx日志配置


# vim /usr/local/nginx-1.4.2/conf/nginx.conf
....省略一些配置....
log_format  main  '$remote_addr | $remote_user | [$time_local] | "$request" | '
                      '$status | $body_bytes_sent | "$http_referer"  | '
                      '"$http_user_agent" | "$http_x_forwarded_for" |  "$request_body" | "$resp_body"';
....省略一些配置....
 
$request_body变量由nginx自身提供，用于记录POST请求日志
$resp_body变量由我们后面再server中定义，由ngx_lua获取
 
nginx虚拟主机配置


server{
       listen      80;
       server_name www.ttlsa.com;
       access_log /data/logs/nginx/www.ttlsa.com.access.log main;


       indexindex.htmlindex.phpindex.html;
       root/data/site/www.ttlsa.com/;
       set$resp_body"";// 这个必须放到最外层，否则日志取不到默认值
       location/ttlsa/api
       {
        // 以下配置可以放到server里面，如此一来，整个server的请求都会记录到log中
        lua_need_request_bodyon;
        body_filter_by_lua'
                        local resp_body = string.sub(ngx.arg[1], 1, 1000)
                        ngx.ctx.buffered = (ngx.ctx.buffered or"") .. resp_body
                        if ngx.arg[2] then
                                ngx.var.resp_body = ngx.ctx.buffered
                        end
          ';
         //省略一些配置
    }
 
配置完毕之后，所有/ttlsa/api下的请求都会记录到log中，包含request和response日志
 
日志结果展示
10.11.11.11 | - | [23/May/2015:11:51:11 +0800] | "POST /ttlsa/api HTTP/1.1" | 200 ~ 519 | "-" | "Apache-HttpClient/4.3.2 (java 1.5)" | "-" | "<xml><appid>10002221</appid><mch_id>78912321</mch_id><device_info>10001</device_info><nonce_str>WhQD62S7mW06uGZb09JHZx78VN6Z9VO7</nonce_str><body>\xE5\xBE\xAE\xE4\xBF\xA1\xE6\x9D\xA1\xE7\xA0\x81\xE6\x94\xAF\xE4\xBB\x98</body><out_trade_no>20150523109755485501108746</out_trade_no><total_fee>20910</total_fee><spbill_create_ip>192.168.1.103</spbill_create_ip><auth_code>130145050921275499</auth_code><sign>8F7C57A99DBA452EFEF685CBE14BE599</sign></xml>" | "<xml><appid>10002221</appid><device_info>10001</device_info><err_code><![CDATA[NOTENOUGH]]></err_code><err_code_des><![CDATA[\xE9\x93\xB6\xE8\xA1\x8C\xE5\x8D\xA1\xE5\x8F\xAF\xE7\x94\xA8\xE4\xBD\x99\xE9\xA2\x9D\xE4\xB8\x8D\xE8\xB6\xB3\xEF\xBC\x88\xE5\xA6\x82\xE4\xBF\xA1\xE7\x94\xA8\xE5\x8D\xA1\xE5\x88\x99\xE4\xB8\xBA\xE5\x8F\xAF\xE9\x80\x8F\xE6\x94\xAF\xE9\xA2\x9D\xE5\xBA\xA6\xE4\xB8\x8D\xE8\xB6\xB3\xEF\xBC\x89\xEF\xBC\x8C\xE8\xAF\xB7\xE6\xA0\xB8\xE5\xAE\x9E\xE5\x90\x8E\xE5\x86\x8D\xE8\xAF\x95]]></err_code_des><mch_id>78912321</mch_id><nonce_str><![CDATA[PxPXdLScGOhBZ17O]]></nonce_str><result_code><![CDATA[FAIL]]></result_code><return_code><![CDATA[SUCCESS]]></return_code><return_msg><![CDATA[OK]]></return_msg><sign><![CDATA[F04FE3EEF6B3E1E6962616786A177C22]]></sign></xml>"
以上是某个微信支付项目中的日志，通过根据此日志，可以及早发现问题并且修复。有些人可能有疑问，POST里面的一些内容都是\xE9\x93\xB6\xE8，无法理解。怎么办呢？继续往下看


NGINX POST十六进制内容转中文

回到《nginx记录响应与POST请求日志》一问，我们捕获到了nginx post请求的内容以及响应给用户的内容，但是我们可以看到\xE5\xAE\x9E\xE5\x90\x8E\xE5\x86\x8D\xE8\类似的内容，不知何意，接下来我们用php把他给解析出来。

日志内容

以下是上篇内容的日志

10.11.11.11 | - | [23/May/2015:11:51:11 +0800] | "POST /ttlsa/api HTTP/1.1" | 200 ~ 519 | "-" | "Apache-HttpClient/4.3.2 (java 1.5)" | "-" | "<xml><appid>10002221</appid><mch_id>78912321</mch_id><device_info>10001</device_info><nonce_str>WhQD62S7mW06uGZb09JHZx78VN6Z9VO7</nonce_str><body>\xE5\xBE\xAE\xE4\xBF\xA1\xE6\x9D\xA1\xE7\xA0\x81\xE6\x94\xAF\xE4\xBB\x98</body><out_trade_no>20150523109755485501108746</out_trade_no><total_fee>20910</total_fee><spbill_create_ip>192.168.1.103</spbill_create_ip><auth_code>130145050921275499</auth_code><sign>8F7C57A99DBA452EFEF685CBE14BE599</sign></xml>" | "<xml><appid>10002221</appid><device_info>10001</device_info><err_code><![CDATA[NOTENOUGH]]></err_code><err_code_des><![CDATA[\xE9\x93\xB6\xE8\xA1\x8C\xE5\x8D\xA1\xE5\x8F\xAF\xE7\x94\xA8\xE4\xBD\x99\xE9\xA2\x9D\xE4\xB8\x8D\xE8\xB6\xB3\xEF\xBC\x88\xE5\xA6\x82\xE4\xBF\xA1\xE7\x94\xA8\xE5\x8D\xA1\xE5\x88\x99\xE4\xB8\xBA\xE5\x8F\xAF\xE9\x80\x8F\xE6\x94\xAF\xE9\xA2\x9D\xE5\xBA\xA6\xE4\xB8\x8D\xE8\xB6\xB3\xEF\xBC\x89\xEF\xBC\x8C\xE8\xAF\xB7\xE6\xA0\xB8\xE5\xAE\x9E\xE5\x90\x8E\xE5\x86\x8D\xE8\xAF\x95]]></err_code_des><mch_id>78912321</mch_id><nonce_str><![CDATA[PxPXdLScGOhBZ17O]]></nonce_str><result_code><![CDATA[FAIL]]></result_code><return_code><![CDATA[SUCCESS]]></return_code><return_msg><![CDATA[OK]]></return_msg><sign><![CDATA[F04FE3EEF6B3E1E6962616786A177C22]]></sign></xml>"

 

我们抓取响应的内容，\xE9\x93\xB6\xE8\xA1\x8C\xE5\x8D\xA1\xE5\x8F\xAF\xE7\x94\xA8\xE4\xBD\x99\xE9\xA2\x9D\xE4\xB8\x8D\xE8\xB6\xB3\xEF\xBC\x88\xE5\xA6\x82\xE4\xBF\xA1\xE7\x94\xA8\xE5\x8D\xA1\xE5\x88\x99\xE4\xB8\xBA\xE5\x8F\xAF\xE9\x80\x8F\xE6\x94\xAF\xE9\xA2\x9D\xE5\xBA\xA6\xE4\xB8\x8D\xE8\xB6\xB3\xEF\xBC\x89\xEF\xBC\x8C\xE8\xAF\xB7\xE6\xA0\xB8\xE5\xAE\x9E\xE5\x90\x8E\xE5\x86\x8D\xE8\xAF\x95。

编写php文件

大体流程，我们通过参数s传值给php，php首先将\x去掉，将字符串变成完成的十六进制，最后将十六进制转为中文。

 

测试

网址输入：http://www.ttlsa.com/t.php?s=\xE9\x93\xB6\xE8\xA1\x8C\xE5\x8D\xA1\xE5\x8F\xAF\xE7\x94\xA8\xE4\xBD\x99\xE9\xA2\x9D\xE4\xB8\x8D\xE8\xB6\xB3\xEF\xBC\x88\xE5\xA6\x82\xE4\xBF\xA1\xE7\x94\xA8\xE5\x8D\xA1\xE5\x88\x99\xE4\xB8\xBA\xE5\x8F\xAF\xE9\x80\x8F\xE6\x94\xAF\xE9\xA2\x9D\xE5\xBA\xA6\xE4\xB8\x8D\xE8\xB6\xB3\xEF\xBC\x89\xEF\xBC\x8C\xE8\xAF\xB7\xE6\xA0\xB8\xE5\xAE\x9E\xE5\x90\x8E\xE5\x86\x8D\xE8\xAF\x95

输出结果如下：

nginx post

十六进制转中文


转载于:https://www.cnblogs.com/duyinqiang/p/5696396.html

weixin_30492601
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
nginx日志记录post请求的内容和cookies
07-09
网上查了一下nginx日志记录post请求的内容的方法，主要都是通过LUA实现的，我不知道什么是LUA，因此仅用proxy_pass指令实现保存post请求的内容
nginx日志中记录post数据
kung的专栏
09-22 1965
nginx记录post数据，需要安装lua-nginx-module模块 1、下载luajit： http://luajit.org/download.html       make prefix=/usr/local/luajit       make install prefix=/usr/local/luajit 2、下载ngx_devel_kit模块       https://
nginx 配合 lua 打印响应报文和请求报文日志
邪人君子的博客
05-12 4144
下载安装LuaJIT - LuaJIT-2.0.5 # wget http://luajit.org/download/LuaJIT-2.0.5.tar.gz # tar -zxvf LuaJIT-2.0.5.tar.gz # cd LuaJIT-2.0.5 # make && make install 下载nginx lua模块 - lua-nginx-module-0.10.10 # wget https://github.com/openresty/lua-nginx-module
Nginx集成Lua实现根据POST请求报文内容自定义负载策略设置教程
最新发布
蓝易云
12-10 70
OpenResty是一个基于Nginx的增强版，集成了Lua等模块，可以更方便地在Nginx中使用Lua脚本。访问OpenResty官方网站或GitHub页面下载最新版本的OpenResty，并解压到指定目录。Nginx集成Lua可以实现根据POST请求报文内容自定义负载策略。路径下根据POST请求报文内容自定义了负载策略，根据需求选择不同的后端服务器地址进行负载均衡。路径下使用Lua脚本处理POST请求报文内容，并根据特定字段的值选择不同的后端服务器地址。现在，Nginx已经集成了Lua，并且在指定的。
Nginx集成Lua实现根据POST请求报文内容自定义负载策略
weixin_38299159的博客
09-28 781
需求概要 如下图，上游服务调用下游服务的接口，部分接口业务高峰期请求量大，下游服务器压力很大，会影响到其它接口的访问。如果通过增加下游服务器横向扩容会增加成本，且在业务高峰期还是有可能影响其他接口。所以需要使用Lua配置一种可以根据报文内容进行负载的策略（调用接口的URL是固定的，下游服务通过解析报文调用对应接口）。 Nginx集成Lua单元 1.资源准备 luajit-2.1：https://github.com/openresty/luajit2/archive/refs/tags/v2
利用nginx+lua实现通用的请求输入输出日志打印
MICweaver的技术blog
03-26 1万+
利用nginx+lua实现通用的请求输入输出日志打印nginx+lua在web开发中现在越来越多用于处理一些公共策略逻辑，比如防攻击等，nginx有着高性能高并发的处理框架，lua语言开发也简单，这次我们尝试在nginx层用lua实现我们日志的打印。在开发调试，问题排查中，日志信息很重要，尤其是一个请求的输入及输出信息，我们往往会在后端业务代码中（如用PHP）打印一个这样的notice日志，不过你也
nginx安装增加lua模块配置http的response报文
WeiJiaXiaoBao的专栏
11-02 1644
主要参考两篇文章 mac安装nginx+lua nginx日志中添加请求的response日志（推荐） Nginx 使用 lua-nginx-module 主要问题还是依赖软件和依赖库导致。 基本 系统：腾讯云centos7 源码目录：/usr/local/src/ 默认安装目录：/usr/local/ 日志目录：/usr/local/nginx/log/access.log 加载...
Nginx设置日志打印post请求参数的方法
01-09
 我们项目的短信功能是接第三方，原来对接第三方给我们回执确认请求是get请求我们在排查问题的时候可以通过nginx的日志拿到对方给我们请求的参数；最近我们换了另外一家第三方，新的第三方给我们的确认请求是post，...
Nginx静态文件响应POST请求 提示405错误的解决方法
09-30
Apache、IIS、nginx等绝大多数web服务器，都不允许静态文件响应POST请求，否则会返回“HTTP/1.1 405 Method not allowed”错误
Nginx记录分析响应慢的请求及替换网站响应内容的配置
09-30
主要介绍了Nginx记录分析响应慢的请求及替换网站响应内容的配置,分别用到了ngx_http_log_request_speed模块和ngx_http_sub_module模块,需要的朋友可以参考下
nginx使用lua实战
Blueeyedboy521的博客
05-30 5216
目录一、介绍二、安装1、apt安装2、测试hello world3、命令模式三、lua语法1、数据类型2、变量3、拼接字符串..4、循环5、函数6、条件控制 一、介绍 lua是一种轻量小巧的脚本语言，用标准C语言编写并以源代码形式开放，其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。 官网：https://www.lua.org/ 二、安装 1、apt安装 apt install lua5.3 2、测试hello world 1)、在linux虚拟机的任意目录下，新建hello.
Nginx日志记录访问信息
每天都是都是盲区
05-26 1634
其中 `path` 为日志文件路径，`format` 为指定的日志格式名称，`buffer` 为缓冲区大小，`gzip` 为是否启用 gzip 压缩，`flush` 为缓冲区刷新时间，`if` 为条件语句，可以根据条件语句来决定是否记录日志。其中 `name` 为日志格式的名称，`string` 为日志格式的字符串，可以使用 Nginx 预定义的变量，例如 `$remote_addr`、`$time_local`、`$request` 等。1、nginx实现访问记录。
nginx日志记录服务器响应数据,nginx记录响应与POST请求日志
weixin_34696006的博客
08-09 3185
生产环境中的某些api出现故障，但是问题无法重现，但是又很想解决掉问题以及我们新项目上线，需要跟踪请求与响应的信息，可以预先找到一些bug，减少大面积的损失。响应日志需要lua的支持，备注：安装过程中，发现nginx-1.9.0版本与ngx_lua不兼容，所以我换成nginx-1.4.2nginx日志配置# vim /usr/local/nginx-1.4.2/conf/nginx.conf......
nginx接受post数据，并在日志里记录数据
呵呵小短腿的博客
06-20 4058
还是老规矩先说明一下业务需求：
Nginx正确记录post日志的方法
weixin_33845477的博客
12-15 260
Nginx正确记录post日志的方法 事实上可以很简单，这取决于把 access_log 放在哪个 location 里面。 一，放到包含fastcgi_pass或proxy_pass的Location里面。 如下： [php] view plaincopy location ~ \.php$ { root /data/web...
Nginx 自定义日志打印Request及Response log信息
BBinChina的专栏
03-09 6351
场景： 生产过程中，使用Nginx做反向代理转发请求到第三方网关时，因为请求出错，所以需要在nginx 打印请求的信息。 配置Nginx 日志格式 使用lua脚本需要nginx配置了lua，或者使用openresty取代nginx http { #默认值为off，忽略变量下划线 underscores_in_headers on; #设置日志格式，采用$http_xxx的方式记录header name(xxx)的值 log_format upstreamlog '$
配置Nginx的日志记录和监控
qq_44539748的博客
07-09 1376
在本教学文章中，我们将学习如何配置Nginx的日志记录和监控，包括访问日志、错误日志以及使用第三方工具进行性能监控等。日志记录和监控是了解服务器和应用程序性能的重要手段，通过合理的配置，我们可以获取有关请求、错误和性能指标的详细信息。在本教程中，我们学习了如何配置Nginx的日志记录和监控，包括访问日志、错误日志以及使用第三方工具进行性能监控。通过按照上述步骤配置Nginx，并了解如何配置访问日志、错误日志和使用第三方工具进行监控，您可以获得有关请求、错误和性能的详细信息，以便进行故障排除和性能优化。
nginx log记录请求响应日志及日志分割
qq_35448165的博客
01-25 4003
之前部署了quic的集群在aws，在测试的时候发现在大报文的情形下HTTP3的请求耗时比较不稳定，并且耗时比普通的HTTP2要大很多，就想看看请求的具体耗时有多少 我的quic集群是通过nginx部署的，所有的请求都是由nginx转发的，只要在nginx里记录请求日志就可以了，通过修改nginx配置文件nginx.conf里的log_format指令参数就可以做到 log_format指令是用来控制nginx如何记录http请求, 默认的nginx记录日志格式是注释掉的，如果要记录额外的信息，需要自定义lo
nginx日志记录请求和响应数据
热门推荐
Yearning for the future
10-18 1万+
一、安装nginx     安装nginx教程就不具体介绍了，网上教程很多，随便搜几个就ok。 二、安装openresty     推荐安装openresty。openresty是一个打包程序，包含大量的第三方Nginx模块，包括lua。咱们现在主要是使用其中的ngx_lua模块来帮助nginx日志记录response。   1、安装openresty依赖   # yum insta
nginx 记录post请求
09-05
上述指令将会将POST请求的日志记录到/var/log/nginx/post.log文件中。你可以选择其他路径和文件名来满足你的需求。 接下来，重启NGINX服务以使配置文件生效： ``` sudo service nginx restart ``` 现在，当有POST...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值