nginx源码分析之http解码实现

最新推荐文章于 2024-02-27 22:45:00 发布
最新推荐文章于 2024-02-27 22:45:00 发布
阅读量1w 收藏 7
点赞数 3
分类专栏： nginx 文章标签： nginx 数据结构 linux 服务器 源码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liujiyong7/article/details/44833475
版权

分析nginx是如何解析并且存储http请求的。对非法甚至恶意请求的识别能力和处理方式。可以发现nginx采用状态机来解析http协议，有一定容错能力，但并不全面

相关配置


跟解码有关的配置

merge_slashes 
语法merge_slashes on | off
默认值on
上下文http server
说明支持解析请求行时，合并相邻的斜线。例如，一个请求 http://www.example.com/foo//bar/ 将生成如下$uri 值：     on: /foo/bar/     off: /foo//bar/ 要知道，静态location匹配是一个字符串比较，所以如果merge_slashes关闭， 一个类似/foo//bar/的请求将不会匹配location /foo/bar/. 在HttpCoreModule中
underscores_in_headers  
语法underscores_in_headers on | off
默认值Off
上下文http server
说明允许或者不允许headers中的下划线
ignore_invalid_headers  
语法ignore_invalid_headers on | off
默认值On
上下文http server
说明控制是否有无效name的header应该被忽略。 有效的名字是由数字 字母 连字符-  可能有下划线组成， 前后都不能有空格。如果该指令在sever级别被指定，它的值仅当server是默认的那个才使用。 指定的值被应用到所有监听同样的地址和端口的虚拟主机上。



请求体有关配置

client_body_buffer_size 
语法client_body_buffer_size size
默认值8k|16k
上下文http server locatioin
说明指定client request body buffer大小如果request body大小超过buffer大小，那么整个请求体会写入临时文件。默认大小是page 大小2倍。 根据不同平台，可能为8K或者16K。当content-length请求头指定了比buffer size较小的值，那么nginx会使用较小的那个。结果就是，nginx将不会给每个请求分配一个这个size大小的buffer
client_body_in_single_buffer 
语法client_body_in_single_buffer on | off
默认值Off
上下文http server location
说明该指令制定是否保持这整个body在一个client request buffer中。 当使用变量$request_body来减少copy操作时，这个指令是推荐的。注意到，当请求体不能保存在一个buffer中时(看client_body_buffer_size)，这个body将存到磁盘上。
client_body_in_file_only  
语法client_body_in_file_only on | clean | off
默认值off
上下文http server location
说明这个指令强制nginx总是将请求体存入临时磁盘文件，甚至即使这个请求体size为0请注意，如果指令是on，文件在请求完成后也不会移除该指令可以用于debug，和嵌入的perl模块中$r->request_body_file 方法


数据结构

解码的所有结果都保存在request结构里

ngx_http_request_t {
ngx_but_t  *header_in;   //  buf，保存请求
Ngx_http_headers_in_t headers_in;   //链表，保存请求中的请求头
Ngx_http_headers_out_t headers_out;  //链表，保存response中的响应头
。。。
}

保存请求头的结构

//Ngx_http_headers_in_t 结构

typedef struct {
    ngx_list_t                        headers;
    ngx_table_elt_t                  *host;
    ngx_table_elt_t                  *connection;
。。。    
    ngx_str_t                         user;
    ngx_str_t                         passwd;
。。。
    ngx_array_t                       cookies;

    ngx_str_t                         server;
    off_t                             content_length_n;
    time_t                            keep_alive_n;

    unsigned                          connection_type:2;
    unsigned                          chunked:1;
    unsigned                          msie:1;
    unsigned                          msie6:1;
    unsigned                          opera:1;
    unsigned                          gecko:1;
    unsigned                          chrome:1;
    unsigned                          safari:1;
    unsigned                          konqueror:1;
} ngx_http_headers_in_t;


解码流程



ngx_http_process_request_line(ngx_event_t *rev) //请求行 解码总入口

ngx_http_process_request_headers(ngx_event_t *rev) //请求头解码入口

所有请求头的handler在ngx_http_request.c:ngx_http_headers_in中
例如：
Host头的handler是 ngx_http_process_host
ngx_http_process_host功能是，验证host有效性，查找virtual server，找到对应的server配置。

请求初始化

ngx_http_request_t *
ngx_http_create_request(ngx_connection_t *c)

r->header_in = hc->nbusy ? hc->busy[0] : c->buffer;
r->http_state = NGX_HTTP_READING_REQUEST_STATE;

解码请求行


ngx_http_process_request_line(ngx_event_t *rev)
{
　　ngx_http_read_request_header(r);  //从连接中读取内容，放到header_in buf中,返回读取字节数，或错误码
　　
　　
　　ngx_http_parse_request_line(r, r->header_in);
　　// 状态机解析请求行,将method  schema host port uri  protocol version 分离出来
　　}



　　解析状态机图如下：
　　


CR=’\r’
LF=’\n’

请求行 对应的正则

请求行对应的正则
Method([A-Z_]+)
Schema([a-zA-Z]+)
Host  (\[[a-zA-Z0-9:._~!$&\\(\)*+,;=-]*\]|[a-zA-Z0-9.-]*)
Port[0-9]*)?
Uri.%/?#+  不能是’\0’   /(([^CRLF.%/?#+\0 ]+/)*(([^CRLF.%/?#+\0 ]+[%?#]|.%/?#)[^ CRLFH\0]*)?)?(?=CR|LF| +H)
Protocol versionHTTP/[1-9]+\.[0-9]+(?=( *)CR?LF)


ngx_http_process_request_uri    //解析uri的函数，对自特殊字符进行了一些处理

定义：

Complex_uri: uri with “/.#”
Quoted_uri: uri with “%”
Plus_in_uri: uri with “+”
Space_in_uri: uri with “ ”

Uri_ext： 最后一截uri， 非紧邻/的.后面的部分


逻辑

if (r->uri_ext) {
        if (r->args_start) {
            r->exten.len = r->args_start - 1 - r->uri_ext;
        } else {
            r->exten.len = r->uri_end - r->uri_ext;
        }
        r->exten.data = r->uri_ext;
}

如果含有/.#%, 那么会给uri重新分配内存，并解析uri 

if (r->complex_uri || r->quoted_uri) {
r->uri.data = ngx_pnalloc(r->pool, r->uri.len + 1);  
ngx_http_parse_complex_uri(r, cscf->merge_slashes)
}

uri解析的状态机图

请求行URI特殊字符处理



Nginx不支持第3部分， 不支持@

这里指的是6 7 8部分

%%后面必须是两个十六进制数字，否则报错 NGX_HTTP_PARSE_INVALID_REQUEST
/相邻重复的斜线，可以合并，有相关配置控制 (merge_slashes on/off控制)
/../会进入上一级目录.例如 /foo/bar/../abc  会变成 /foo/abc/../前面必须有一级，否则会报错，  不会退到第一级/前面
.Uri中的点,在最后一个/后面，而且不紧跟在/后面， 会是r->uri_ext的起始位置， 结束位置在args前面，或者uri结尾
#表示uri的结尾，#后面的全部忽略。  如果没有#, 那么uri的结尾会以 ( *(CR?LF)| H)结束
？问号到#号之间认为都是参数，如果?后没有#，那么问号后都是参数
+如果遇到+  r->plus_in_uri=1
\r后面必须接\n,  表示请求行结束
\n表示请求行结束


HTTP0.9的支持

支持http 0.9

如果是协议版本小于1, 那么不会读取请求头

支持的方法

方法
GET

PUT

POST

COPY
MOVE
LOCK
HEAD
MKCOL

PATCH

TRACE   NGX_HTTP_NOT_ALLOWED error code 405
DELETE
UNLOCK
OPTIONS
PROPFIND

PROPPATCH


注意：这里说的支持，是说nginx解码时，能够识别这些方法。但是在后续的处理过程中不一定支持。例如，nginx遇到TRACE方法，会返回405 not allowed

未知的方法： 如果METHOD字符集符合 [A-B_]+, 会将请求放过去，交给后续处理
如果不符合[A-B_]+, 会报错误 400 bad request


解码请求头

ngx_http_process_request_headers(ngx_event_t *rev)

ngx_http_read_request_header // 从网络连接中读取内容
ngx_http_parse_header_line(r, r->header_in, cscf->underscores_in_headers);

请求头 对应的正则
Name    [0-9a-zA-Z-]? 最大长度32， 非法字符被忽略，超过32个的从头覆盖
_是否非法，看allow_underscores配置

value    [^ CRLF\0]+ 没有长度限制，以CRLF结尾


请求头解析的状态机图





非法头部处理

Header name中包含非法字符，则认为是非法头部，nginx默认抛弃这一行，另外也可由配置ignore_invalid_headers 确定

相同头部处理

策略一，第二个以上相同头部忽略 ngx_http_process_header_line
策略二，如果重复，返回400错误 ngx_http_process_unique_header_line
策略三，允许多头存在，用数组保存 ngx_http_process_multi_header_lines eg. X-Forwarded-For Cookie

策略四， 使用最靠后的头

请求头部策略   头部类型和值
Connection策略四General如果http版本大于1,那么默认为keep-alive, 否则为close 。 只能有close 或keep-alive两种情况，否则报错
Host策略一 Request headerhttp 1.0以上版本，host不能为空，否则报错
User-Agent策略一 Request headerNginx会去识别是否如下六种（Msie msie6）  opera gecko chrome Safari Konqueror
Referer策略一 Request header
Content-Type策略一 Entity header指明发给接受者的实体主体的媒体类型，或HEAD方法中指明若请求为GET时将发送的媒体类型
Range策略一 Request header
Transfer-Encoding策略一 general
Upgrade策略一 general
Accept-Encoding策略一 Request header
X-Real-IP策略一  
Accept策略一 Request header
Accept-Language策略一 Request header
Depth策略一  
Destination策略一  
Overwrite策略一  
Date策略一 general
Via general
Keep-Alive策略一  
If-Modified-Since策略二 Request header
If-Unmodified-Since策略二 Request header
If-Match策略二 Request header
If-None-Match策略二 Request header
If-Range策略二 Request header
Expect策略二 Request header
Content-Length策略二 Entity header  必须为数字，必须为正数ngx_http_process_request_header
Authorization策略二 Request header
X-Forwarded-For策略三 
Cookie策略三 
额外的头头部都会存在list里，怎么处理自己定义 



冲突或关联头部处理

transfer_encoding content-length
在ngx_http_process_request_header中，当transfer-encoding value 为chunked content-length会失效。Transfer-encoding值只能为identity或chunked，否则报错


Connection keep-alive
如果connection 为keep-alive，那么keep-alive的值会生效
如果请求头connection没有指明为close， 且http版本大于1, 那么connection默认为keep-alive.

不支持多行请求头

由于 HTTP/1.1 协议里的规定,所以实际上 HTTP 协议支持多行请求头,它规定任何一个以空格开头的行,都是接续在前一行之后的内容。例如:
X-Random-Comment: 这是个长句子,
所以我们得换行处理一下,看着更整齐。

Nginx不支持多行请求头

Cookies处理
Nginx没有继续解析cookies值
https://github.com/cloudflare/lua-resty-cookie


解码请求体

nginx核心本身不会主动读取请求体，这个工作是交给请求处理阶段的模块来做，但是nginx核心提供了ngx_http_read_client_request_body()接口来读取请求体，另外还提供了一个丢弃请求体的接口-ngx_http_discard_request_body()，在请求执行的各个阶段中，任何一个阶段的模块如果对请求体感兴趣或者希望丢掉客户端发过来的请求体，可以分别调用这两个接口来完成。这两个接口是nginx核心提供的处理请求体的标准接口，如果希望配置文件中一些请求体相关的指令（比如client_body_in_file_only，client_body_buffer_size等）能够预期工作，以及能够正常使用nginx内置的一些和请求体相关的变量（比如$request_body和$request_body_file），一般来说所有模块都必须调用这些接口来完成相应操作，如果需要自定义接口来处理请求体，也应尽量兼容nginx默认的行为。


请求体的读取一般发生在nginx的content handler中，一些nginx内置的模块，比如proxy模块，fastcgi模块，uwsgi模块等，这些模块的行为必须将客户端过来的请求体（如果有的话）以相应协议完整的转发到后端服务进程，所有的这些模块都是调用了ngx_http_read_client_request_body()接口来完成请求体读取。值得注意的是这些模块会把客户端的请求体完整的读取后才开始往后端转发数据。

ngx_http_discard_request_body

使用接口



可用变量


以下仅为举例，不全

$http_xxxx 类型的变量， xxxx为header name 连接符变成下划线，大写字母变成小写字母

X-Real-IP 变量为 $http_x_real_ip


类似的有

$args_XXXX

$cookie_XXXX


$uri

$request_body
这个变量包含请求体。这个变量出现在proxy或fastcgi_pass所在的location
$request_body_file
Client请求体临时文件名




囧囧有神
关注
  • 3
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
nginx源码分析configure脚本详解
09-30
主要介绍了nginx源码分析configure脚本详解的相关资料,需要的朋友可以参考下
nginx1.24版本编译sticky模块报‘ngx_http_headers_in_t’ has no member named ‘cookies’的解决方案
qq_21076567的博客
12-11 1262
刚开始报这个错的时候，度娘看到说要nginx 1.22稳定版才可以用sticky，但项目实际中使用的是nginx 1.24版本，不可能降级使用。替换 sticky模块下ngx_http_sticky_module.c文件的文件内容。折磨了许久，请教了公司牛人，于是从官网找到了解决办法。
Nginx开发HTTP模块（二）：如何将自己的HTTP模块编译进Nginx
Ivan45007的博客
11-10 3159
如何将自己的HTTP模块编译进Nginx Nginx提供了一种简单的方式将第三方的模块编译进Nginx中： 首先把源代码文件全部放到一个目录下 同时在该目录中编写一个文件用于通知Nginx如何编译本模块，这个文件名必须为config 只要在configure脚本执行时加入参数–add-module=PATH（PATH就是上面我们给定的源代码、config文件的保存目录），就可以在执行正常编译安装流程时完成Nginx编译工作 执行完configure脚本后Nginx会生成objs/Makefile和objs
漏洞扫描：在应用程序中发现不必要的 Http 响应头。解决报错:error: ‘ngx_http_headers_in_t’ has no member named ‘cookies’ ...
最新发布
lanren312的博客
02-27 648
从nginx1.23.0开始，所有的头都以链表的形式返回，而不是数组。v0.34 解决了这个问题。因为我的nginx是1.23.1，所以我用v0.33不行，要用v0.34这个版本。重启nginx： systemctl restart nginx。在浏览器里面就看不到 server: nginx/1.23.1。修改nginx.conf。写到这里，先上错误的截图。修改nginx.conf。再看看正确的处理方法。
Linux下Nginx的安装步骤
热门推荐
冯毅
06-28 1万+
Linux下Nginx的安装 如果出现：error: 'ngx_http_file_cache_node_t' has no member named 'length'异常，可能是ngx_cache_purge-2.1.tar.gz版本太旧导致
深入理解nginx中的错误
lingfengtengfei的专栏
06-13 2892
[1] P77 源码打印输出部分"%*s",应该改为“%.*s”,不然不会按照str[i]的长度输出。如果改用ngx_vslprintf可以继续使用"%*s",参考P153 表4-8。ngx自己的fmt不支持"%.*s"  　 　[2] P97 所有的“extern”都应该改为"exten" 在P96 ngx_http_request_s声明中以及源码中均声明为“exten”。
nginx场景实践
weixin_49076273的博客
07-29 1250
1.浏览器缓存，也就是在浏览器中缓存一些文档资料在用户磁盘上，每次访问请求时，都会先查看浏览器是否有缓存。利用浏览器缓存减少网络开销，从而提高访问速度。防盗链顾名思义就是防止别人将我们的链接放在自己网上赚取流量，并且消耗我们的服务器资源和网络流量。可以通过HTTPReferer头文件获取到访问的页面和ip地址等信息，设置只允许某个ip才可以访问。代理服务分为反向和正向，反向就是为服务器提供代理，从而用户只能知道代理服务器，不知道被代理的服务器，并且被代理服务器知道哪个用户访问了他它；10m;和10m。...
nginx源码分析线程池详解
09-30
主要介绍了nginx源码分析线程池详解的相关资料,需要的朋友可以参考下
nginx源码分析
06-13
nginx源码分析，整合网络资源精彩呈现，分析的很详细，并附有源码解释，作者：http://blog.csdn.net/kenbinzhang
nginx源码剖析
09-27
nginx源码说明；其他下载即可，没下载分了，大家互相帮忙。其他情况大概就这些吧，其他也没什么好说的了，看文档即可
Nginx源码剖析之内存池，与内存管理
02-20
Nginx（发音同enginex）是一款轻量级的Web服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like协议下发行。...读者可以到此处下载Nginx最新版本的源码：http://nginx.org/en/downlo
nginx编译安装nginx-sticky-module报错
weixin_34203832的博客
12-08 819
报错如下：/usr/local/nginx-sticky-module-1.1/nginx-sticky-module-1.1/ngx_http_sticky_misc.c: In function ‘ngx_http_sticky_misc_text_raw’:/usr/local/nginx-sticky-module-1.1/nginx-sticky-module-1....
nginx 安装sticky模块遇到的问题
迈克擂的博客
07-08 4487
目的：     在nginx基础功能上添加sticky第三方模块。 1.下载sticky包 cd ~ mkdir tools && cd tools wget https://bitbucket.org/nginx-goodies/nginx-sticky-module-ng/get/master.tar.gz 2.解压 tar -zxvf nginx-goo...
nginx 1.9.10&nginx-sticky-module-1.1编译出错处理
weixin_34148456的博客
01-28 691
为什么80%的码农都做不了架构师？>>> ...
nginx1.11.*版本追加安装sticky模块出现问题解决方法
json的博客
09-12 5953
nginx1.11.以上版本版本追加安装sticky模块出现问题解决方式
关于nginx中使用“Sticky”模块
末日黄昏的博客
12-29 6135
       使用NGINX做负载均衡器时，常遇到如何将来自同一用户的访问始终定向到一台后端设备进行响应，一般nginx上面有下面办法来实现会话保持：       1、ip_hash   nginx原生支持的基于IP地址来将不同的请求转发到同一台服务器进行响应，缺点就是如果前端用户都来自同一局域网，基于ip的负载方法会导致负载不均衡；      2、sticky      基于cookie来进...
nginx 源码编译
09-02
对于编译 Nginx 的源码，可以按照以下步骤进行操作： 1. 首先，确保你的系统中已经安装了必要的编译工具，如 gcc、make 和 zlib 开发库。在 Ubuntu 系统中，可以使用以下命令进行安装： ``` sudo apt-get update sudo apt-get install build-essential zlib1g-dev ``` 2. 下载 Nginx 的源码包。你可以从 Nginx 官方网站（http://nginx.org/en/download.html）或 GitHub 仓库（https://github.com/nginx/nginx）上获取最新的源码包。 3. 解压源码包并进入解压后的目录： ``` tar -zxvf nginx-x.x.x.tar.gz cd nginx-x.x.x ``` 其中，`x.x.x` 表示源码包的版本号。 4. 配置编译选项。运行 `./configure` 命令可以生成适合当前系统的 Makefile 文件。你可以根据自己的需求添加一些配置参数，例如指定 `--prefix` 来指定安装路径，或者通过 `--with-modules` 来启用特定的模块。 ``` ./configure --prefix=/usr/local/nginx --with-http_ssl_module ``` 5. 运行 `make` 命令进行编译。这个过程可能需要一段时间，具体时间取决于你的系统性能和源码大小。 ``` make ``` 6. 完成编译后，运行 `sudo make install` 命令将编译好的 Nginx 安装到指定的路径中。 ``` sudo make install ``` 7. 安装完成后，你可以通过 `nginx -v` 命令来验证是否安装成功，并查看安装的版本号。 以上就是编译 Nginx 源码的基本步骤，你可以根据需要进行进一步的配置和使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值