【Nginx源码研究】Nginx中FastCGI浅析

最新推荐文章于 2022-11-02 10:29:41 发布
最新推荐文章于 2022-11-02 10:29:41 发布
阅读量477 收藏 2
点赞数
文章标签： 网络 php python
原文链接：https://segmentfault.com/a/1190000016538573
版权

运营研发团队 施洪宝

一. FastCGI协议简介

1.1 简介

FastCGI(Fast Common Gateway Interface, 快速通用网关接口)是一种通信协议。可以通过Unix Domain Socket, Named Pipe, TCP等方式按照FastCGI协议通信。

clipboard.png

图 1.1 FastCGI简介

1.2 数据包格式

FastCGI数据包两部分, 头部(header), 包体(body), 每个数据包都必须包含header, body可以没有。header为8个字节, body必须为8的整数倍, 不是的话需要填充。

1.2.1 头部

typedef struct {
    unsigned char version;            // 版本号
    unsigned char type;               // 数据包类型
    unsigned char requestIdB1;        // 记录id高8位
    unsigned char requestIdB0;        // 记录id低8位
    unsigned char contentLengthB1;    // 记录内容长度高8位(body长度高8位)
    unsigned char contentLengthB0;    // 记录内容长度低8位(body长度低8位)
    unsigned char paddingLength;      // 补齐位长度(body补齐长度)
    unsigned char reserved;           // 补齐位
}Header;

clipboard.png

图 1.2 FastCGI协议数据包头部字段说明

type的取值

#define FCGI_BEGIN_REQUEST       1                     //(web->fastcgi)请求开始数据包
#define FCGI_ABORT_REQUEST       2                     //(web->fastcgi)终止请求
#define FCGI_END_REQUEST         3                     //(fastcgi->web)请求结束
#define FCGI_PARAMS              4                     //(web->fastcgi)传递参数
#define FCGI_STDIN               5                     //(web->fastcgi)数据流传输数据
#define FCGI_STDOUT              6                     //(fastcgi->web)数据流传输数据
#define FCGI_STDERR              7                     //(fastcgi->web)数据流传输
#define FCGI_DATA                8                     //(web->fastcgi)数据流传输
#define FCGI_GET_VALUES          9                     //(web->fastcgi)查询fastcgi服务器性能参数
#define FCGI_GET_VALUES_RESULT  10                     //(fastcgi->web)fastcgi性能参数查询返回
#define FCGI_UNKNOWN_TYPE       11
#define FCGI_MAXTYPE (FCGI_UNKNOWN_TYPE)

1.2.2 params类型数据包

clipboard.png

图 1.3 Params数据包

说明:

  • params数据包以key, value格式发送, 具体格式为(keyLen, valLen, key, val)
  • key或者val长度大于127时，会用4个字节存储长度，否则用一个字节

1.2.3 数据流类型数据包(stdin, stdout, stderr, data)

clipboard.png

图 1.4 数据流类型数据包

1.3 通信流程示例

clipboard.png

图 1.5 FastCGI简单通信流程

说明:

  • begin request 代表请求开始, end request 代表请求结束。
  • 除begin request, end request类型数据包外, 其他类型数据包在发送完成后，需要发送一个只有头部，包体长度为0, 也就是没有包体的数据包，代表这种类型的数据包发送结束。上述params, stdin, stdout, stderr 都需要发送结束包。

1.4 参考

二. Nginx FastCGI

nginx发送的缓冲区数据格式如下:

clipboard.png

图 2.1 FastCGI数据包总体结构图

说明:

  • 本部分主要依据ngx_http_fastcgi_create_request函数, 该函数会构造缓存区，并向其中写入上图所示内容，在该函数执行完后，会根据实际情况选择是否继续向缓冲区写入数据，后续情况在此不做讨论。
  • ngx_http_fastcgi_create_request 函数所需的变量, 在进入该函数之前认为已经初始化完成。

2.1 示例

2.1.1 upstream 发送缓冲区

//r.upstream.request_bufs.buf.pos
//begin request header
\001\001\000\001\000\b\000\000
//begin request body
\000\001\000\000\000\000\000\000
//begin params header
\001\004\000\001\002\b\000\000
//begin parmas body
\n\004PRODUCTIONtrue
\017\061SCRIPT_FILENAME/home/codes/nginx-1.6.2/output/html8100/index.php
\f\000QUERY_STRING
\016\003REQUEST_METHODGET
\f\000CONTENT_TYPE
\016\000CONTENT_LENGTH
\v\nSCRIPT_NAME/index.php
\v\001REQUEST_URI/
\f\nDOCUMENT_URI/index.php
\r'DOCUMENT_ROOT/home/codes/nginx-1.6.2/output/html8100
\017\bSERVER_PROTOCOLHTTP/1.1
\021\aGATEWAY_INTERFACECGI/1.1
\017\vSERVER_SOFTWAREnginx/1.6.2
\v\tREMOTE_ADDR127.0.0.1
\v\005REMOTE_PORT42146
\v\tSERVER_ADDR127.0.0.1
\v\004SERVER_PORT8100
\v\000SERVER_NAME
\017\003REDIRECT_STATUS200
\017\vHTTP_USER_AGENTcurl/7.29.0
\t\016HTTP_HOSTlocalhost:8100
\v\003HTTP_ACCEPT*/*
//end params header
\001\004\000\001\000\000\000\000
//begin stdin header, 包体长度为0, 可以认为stdin类型数据包发送结束
\001\005\000\001\000\000\000\000

2.1.2 Params 数据包参数整理

clipboard.png

2.2 源码解析

2.2.1 基础

2.2.1.1 le.ip结构图

clipboard.png

clipboard.png

图 2.2 le.ip 结构图

2.2.1.2 e.ip结构图

clipboard.png

clipboard.png

图2.3 e.ip结构图

2.2.2 ngx_http_fastcgi_create_request

  • 该函数主要依据图2.1， 将所需数据写入到ngx_http_request_t对应的ngx_http_upstream_t的缓冲区中。
  • 写入key, val时, 通过调用相应函数实现, 该函数是与对应的key, val放置在一起的, 如图2.3所示。
//params数据包写入核心代码
while (*(uintptr_t *) le.ip) {
    lcode = *(ngx_http_script_len_code_pt *) le.ip;
    key_len = (u_char) lcode(&le); //获取key的长度
    lcode = *(ngx_http_script_len_code_pt *) le.ip;
    skip_empty = lcode(&le);      //查看空时是否跳过
    for (val_len = 0; *(uintptr_t *) le.ip; val_len += lcode(&le)) {
        lcode = *(ngx_http_script_len_code_pt *) le.ip;
    }
    le.ip += sizeof(uintptr_t);        //当前key:value结束, le.ip后移1位
    if (skip_empty && val_len == 0) { //value为空, 并且设置空时跳过该key
        e.skip = 1;
        while (*(uintptr_t *) e.ip) {
            code = *(ngx_http_script_code_pt *) e.ip;
            code((ngx_http_script_engine_t *) &e);
        }
        e.ip += sizeof(uintptr_t);
        e.skip = 0;
        continue;
    }
    *e.pos++ = (u_char) key_len; //写入key len 
    if (val_len > 127) {         //写入value len
        *e.pos++ = (u_char) (((val_len >> 24) & 0x7f) | 0x80);
        *e.pos++ = (u_char) ((val_len >> 16) & 0xff);
        *e.pos++ = (u_char) ((val_len >> 8) & 0xff);
        *e.pos++ = (u_char) (val_len & 0xff);
    } else {
        *e.pos++ = (u_char) val_len;
    }
    while (*(uintptr_t *) e.ip) {
        code = *(ngx_http_script_code_pt *) e.ip;
        code((ngx_http_script_engine_t *) &e);  //调用code存储的处理函数, 负责将key, value内容写入缓存, 并将e.ip后移
    }
    e.ip += sizeof(uintptr_t);                  //当前Key:Value结束, 跳过NULL, e.ip后移一位
    ngx_log_debug4(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
                   "fastcgi param: \"%*s: %*s\"",
                   key_len, e.pos - (key_len + val_len),
                   val_len, e.pos - val_len);
}

三. 抓包分析

3.1 TCP三次握手

14:50:02.836252 IP bogon.46288 > localhost.cslistener: Flags [S], seq 304127093, win 29200, options [mss 1460,sackOK,TS val 105743206 ecr 0,nop,wscale 7], length 0
14:50:02.874743 IP localhost.cslistener > bogon.46288: Flags [S.], seq 15154, ack 304127094, win 32768, options [mss 1460], length 0
14:50:02.874804 IP bogon.46288 > localhost.cslistener: Flags [.], ack 15155, win 29200, length 0

代码1.1 tcpdump三次握手

clipboard.png

图1.1 三次握手链接过程

Client发送请求包seq 304127093，Server返回确认数据包ack=seq(client)+1，同时返回Server自己的seq 15154，Client收到后发送确认包ack=seq(server)+1，建立链接。
Client和Server都有自己的seq，且互不干涉，后续发送的序列号以此为基准。

3.2 发送数据

clipboard.png

图2.2 请求数据包图2.1 Client向Server发送请求数据包

  • Mac帧头部(14字节)
  • IP头部(20字节)
  • TCP头部(20字节)
  • FastCGI数据包(begin request(8+ 8 = 16) + params(8 + 507 + 5 = 520) + end params(8+ 0 = 8) + stdin(8 + 0 = 8) = 552)

Params 数据包参数整理:

clipboard.png

说明

  • stdin类型数据包长度大于32k时, nginx fastcgi会进行分包, 此时会发送多个stdin类型数据包, 发送完成后再发送stdin结束包(只有包头，没有包体的数据包)。
  • wireshark或者tcpdump抓包时, 可能会出现某个数据包长度大于MTU, 主要是由于主机开启TSO功能导致, 具体可以参考http://wsfdl.com/%E8%B8%A9%E5...
  • TSO进行的是TCP分段, 不是IP分片
  • 如果抓到的包, IP头部, identified field is 0, 表明tcp不需分段, don't fragment 置位1, 具体参考http://www.linuxsa.org.au/pip...
  • TCP头部可选项含义参考https://www.jianshu.com/p/39b...

3.3 响应包

14:50:02.913289 IP localhost.cslistener > bogon.46288: Flags [P.], seq 15155:15395, ack 304127646, win 32216, length 240
    0x0000:  0800 2701 5190 5254 0012 3500 0800 4500  ..'.Q.RT..5...E.
    0x0010:  0118 02bf 0000 ff06 2fb6 0a60 7207 0a00  ......../..`r...
    0x0020:  0204 2328 b4d0 0000 3b33 1220 9e9e 5018  ..#(....;3....P.
    0x0030:  7dd8 df40 0000 0106 0001 00d8 0000 5365  }..@..........Se
    0x0040:  742d 436f 6f6b 6965 3a20 5048 5053 4553  t-Cookie:.PHPSES
    0x0050:  5349 443d 6268 3174 3772 6e61 3233 716c  SID=bh1t7rna23ql
    0x0060:  6d63 6235 6d6a 686d 3967 756f 7631 3b20  mcb5mjhm9guov1;.
    0x0070:  7061 7468 3d2f 0d0a 4578 7069 7265 733a  path=/..Expires:
    0x0080:  2054 6875 2c20 3139 204e 6f76 2031 3938  .Thu,.19.Nov.198
    0x0090:  3120 3038 3a35 323a 3030 2047 4d54 0d0a  1.08:52:00.GMT..
    0x00a0:  4361 6368 652d 436f 6e74 726f 6c3a 206e  Cache-Control:.n
    0x00b0:  6f2d 7374 6f72 652c 206e 6f2d 6361 6368  o-store,.no-cach
    0x00c0:  652c 206d 7573 742d 7265 7661 6c69 6461  e,.must-revalida
    0x00d0:  7465 0d0a 5072 6167 6d61 3a20 6e6f 2d63  te..Pragma:.no-c
    0x00e0:  6163 6865 0d0a 436f 6e74 656e 742d 7479  ache..Content-ty
    0x00f0:  7065 3a20 7465 7874 2f68 746d 6c3b 2063  pe:.text/html;.c
    0x0100:  6861 7273 6574 3d55 5446 2d38 0d0a 0d0a  harset=UTF-8....
    0x0110:  646f 636b 6572 0103 0001 0008 0000 0000  docker..........
    0x0120:  0000 0064 223a                           ...d":

代码2.2 Server向Client发送响应数据包

  • Mac帧头部(14字节)
  • IP头部(20字节)
  • TCP头部(20字节)
  • FastCGI数据包(begin stdout(8+ 216 = 224) + end request(8+ 8 = 16) = 240)

3.4 Client发送接收Server数据的确认包

14:50:02.913365 IP bogon.46288 > localhost.cslistener: Flags [.], ack 15395, win 30016, length 0

clipboard.png

图2.2 数据发送

3.5 断开链接

14:50:02.913629 IP bogon.46288 > localhost.cslistener: Flags [F.], seq 304127646, ack 15395, win 30016, length 0
14:50:02.913767 IP localhost.cslistener > bogon.46288: Flags [.], ack 304127647, win 32215, length 0
14:50:02.951270 IP localhost.cslistener > bogon.46288: Flags [F.], seq 15395, ack 304127647, win 32215, length 0
14:50:02.951452 IP bogon.46288 > localhost.cslistener: Flags [.], ack 15396, win 30016, length 0

代码3.1 tcp断开链接

clipboard.png

图3.1 tcpdump抓包对应的tcp流程图

3.6 参考

weixin_33762130
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
[nginx源码]FastCGI模块详解
luoyu_的博客
09-28 1万+
目录 1.初识FastCGI协议 1.1消息头 1.2消息体举例 2. 基础知识 2.1 FastCGI配置 2.2FastCGI配置预处理 3.构造FastCGI请求 3.1FastCGI请求结构 3.2 计算请求第一部分长度 3.3填充请求第一部分 3.4填充请求第二三部分 4. 实战 4.1配置 4.2FastCGI请求包 总结 1.初识FastCGI协议 ...
fastcgi php解析库,php源码中FastCGI协议的解析
weixin_32033241的博客
03-16 213
这篇文章给大家介绍的内容是关于php源码中FastCGI协议的解析，有着一定的参考价值，有需要的朋友可以参考一下。FastCGI 是一种协议，它是建立在CGI/1.1基础之上的，把CGI/1.1里面的要传递的数据通过FastCGI协议定义的顺序和格式进行传递。为了更好理解PHP-FPM的工作，下面具体阐述一下FastCGI协议的内容。1. 消息类型FastCGI协议分为了10种类型，具体定义如下：...
Wireshark与Nginx
最新发布
weixin_61148409的博客
11-02 1139
Wireshark与Nginx
从一起丢包故障来谈谈 nginx 中的 tcp keep-alive
weixin_33729196的博客
01-24 1594
一、故障 基本架构如图所示，客户端发起 http 请求给 nginx，nginx 转发请求给网关，网关再转发请求到后端微服务。 故障现象是，每隔十几分钟或者几个小时不等，客户端就会得到一个或者连续多个请求超时错误。查看 nginx 日志，对应请求返回 499；查看网关日志，没有收到对应的请求。 从日志分析，问题应该处在 nginx 或者 spring-cloud-gateway 上。 nginx...
nginx http处理过程分析之细节
云计算?
02-09 115
在之前的综述中提到过两篇不错的博客，对nginx的http的处理过程分析的很到位，这里还有一些细节需要拿出来跟大家分享一下。 题外话： “在认真思考过每一行代码之前，不要说真正理解了它！” ---(这是我说的，大家觉得搞笑就来喷我吧。-_-!) 这句话实际上是在告诉我们，隐藏在一份代码中的诸多细节，是需要你去仔细翻阅的，许多地方并不是你想当然那样子的。今天在一个群里讨论nginx...
nginx源码学习资料
02-10
学习Nginx源码有助于深入理解其工作原理，提高在实际应用中的问题排查和性能优化能力。本资料包包含了《Nginx模块开发指南》和《深入理解Nginx》等资源，旨在帮助初学者逐步探索Nginx的设计思想和内部机制。 **1. ...
Nginx中FastCGI如何配置优化
09-30
Nginx中的FastCGI配置优化是一个关键的步骤，对于提升Web服务器性能和处理高并发请求至关重要。FastCGI是一种常驻型的CGI，旨在解决传统CGI接口性能低下的问题。它采用客户端/服务器架构，使得HTTP服务器与脚本解析...
nginx各版本源码包
09-23
**Nginx 各版本源码包详解** Nginx 是一款高性能的 Web 和反向代理服务器，广泛应用于互联网行业中，以其高效的并发处理能力、低内存占用和丰富的模块支持而备受青睐。本压缩包提供了 Nginx 的四个不同版本源码，...
Nginx源码研究之nginx限流模块详解
09-30
主要介绍了Nginx源码研究之nginx限流模块详解,小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Nginx源码安装的方法步骤
01-20
一、下载Nginx源文件 进入nginx官网下载nginx的稳定版本，我下载的是1.10.0。 下载：wget http://nginx.org/download/nginx-1.10.0.tar.gz 解压：tar -zxvf nginx-1.10.0.tar.gz 二、检查安装依赖项 执行下面...
Go-gofast一个采用纯Go编写的FastCGI客户端库
08-13
gofast一个采用纯Go编写的FastCGI客户端库
fastcgi:fastcgi客户端C实现
05-12
fastcgi by c 1、修改fcgi_un.c文件中unixSocket为本机socket文件位置 2、修改fcgi_un.c文件中scriptFile为本机请求的php文件位置 3、gcc -o fcgiun fcgi_un.c 4、./fcgiun
fastcgipp：fastcgi ++：一个C ++ FastCGI和Web开发平台：
01-30
fastcgipp：fastcgi ++：一个C ++ FastCGI和Web开发平台：
fcgi:现代C ++中的FastCGI实现
05-06
C ++中的FastCGI实现{#mainpage} Dmitigr Fcgi（以下简称Fcgi）-是一种可靠，易于使用且高性能的协议，以C ++编写。 Fcgi是项目的一部分。 注意，该软件为“测试版”质量，并且API随时可能更改！ 文献资料 生成的文档位于。 有。 你好，世界 # include < dmitigr> # include < iostream> int main () { namespace fcgi = dmitigr::fcgi; try { const auto port = 9000 ; const auto backlog = 64 ; const auto server = fcgi::Listener_options::make ( " 0.0.0.0 " , port, backlog)-> ma
【NGINX】HTTP-FLV 反向代理交互总结、抓包及流程分析
突围
07-28 1269
nginx proxy pass 反向代理 并且，我们已经支持了nginx-http-flv 的反向代理 本文需要进一步优化总结。 CHUNK 推测 ngx-flv 是以非chunk形式发给ngx-proxy， 看抓包确实如此。 ngx-flv 以chunk形式发ngx-gw，客户端无法解析出flv来？？？？ ngx-gw 以chunk形式发给 播放器 看后面抓包确实如此。 客户端播放器以规范的格式访问代理 对外： http://192.168.50.223:8082/flv/stream.f..
nginx+fastcgi+c/c++源码安装配置
bytxl的专栏
01-28 1856
参考：http://www.cnblogs.com/xiaouisme/archive/2012/08/01/2618398.html 由于以前安装过apache，已经安装了很多依赖库，现在只需要安装以下软件包： nginx-1.4.4.tar.gz spawn-fcgi-1.6.3.tar.gz fcgi.tar.gz 安装nginx # tar -xvf ./nginx-1
FastCGI协议详解及代码实现
热门推荐
zhang197093的博客
12-27 1万+
FastCGI协议是在CGI协议的基础上发展出来的，如果想了解CGI协议，可以看我另一篇文章：动态web技术(二) --- CGI，FastCGI程序本身监听某个socket然后等待来自web服务器的连接，而不是像CGI程序是由web服务器 fork-exec，所以FastCGI本身是一个服务端程序，而web服务器对它来说则是客户端。 FastCGI程序和web服务器之间通过可靠的流式传输（
fastcgi协议分析与实例
Shreck66的专栏
12-19 1万+
1.序言最近在用c++实现一个简易web服务器。在实现之前大体理了一下一个web服务器主要咋样实现。当时单纯的认为只需要将浏览器发来的http请求解析，找到对应的文件，然后给浏览器一个响应，把其要获取的文件发给它就完事。可是写了没几天就遇到了瓶颈。因为我们的浏览器并不能解析动态的php文件，那么如果获取的http请求的请求文件为.php文件我们该杂么办呢？2.将.php转换为.html的php-fp
FastCGI
chuaded的博客
03-06 3701
FastCGI CGI 什么是CGI CGI（common gateway interface）通用网关接口描述了客户端和服务器程序之间传输数据的⼀种标准，可以让⼀个客户端，从⽹⻚浏览器向执⾏在⽹络服务器上的程序请求数据。 CGI独⽴于任何语⾔的，CGI程序可以⽤任何脚本语⾔或者是完全独⽴编程语⾔实现，只要这个语⾔可以在这个系统上运⾏。Unix shell script、Python、 Ruby、PHP、 perl、Tcl、 C/C++和 Visual Basic 都可以⽤来编写CGI程序。 最初，CGI是
Nginx源代码分析
06-01
本文为Nginx源代码分析指导丛书，为学习使用Nginx源码开发人员提供方便

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值