Nginx:subrequest的使用方式

最新推荐文章于 2024-11-12 17:21:52 发布
最新推荐文章于 2024-11-12 17:21:52 发布
阅读量145 收藏
点赞数
文章标签： 运维 设计模式
原文链接：http://www.cnblogs.com/runnyu/p/4894329.html
版权

参考资料<深入理解Nginx>

 

subrequest是由HTTP框架提供的一种分解复杂请求的设计模式。

它可以把原始请求分解为许多子请求，使得诸多请求协同完成一个用户请求，并且每个请求只关注一个功能。

 

使用subrequest的方式只需完成以下4个步骤即可：

1.在nginx.conf文件中配置好子请求的处理方式

2.启动subrequest请求

3.实现子请求执行结束时的回调方法

4.实现父请求被激活时的回调方法

下面将以mytest模块为例来演示这4个步骤。

 

配置子请求的处理方式

子请求的处理过程与普通请求完全相同。子请求与普通请求的不同在于：子请求是由父请求生成的，而不是接受客户端发来的网络包再有HTTP框架解析出的。

下面会使用ngx_http_proxy_module反向代理模块来处理子请求(假设生成的子请求是以URI为/list开头的请求)。

location /list {
    proxy_pass http://hq.sinajs.com;
    proxy_set_header Accept-Encoding "";
}

我们还需要配置我们的mytest模块

location /test {
    mytest;
}

 

 

启动subrequest请求

在ngx_http_mytest_handler处理方法中，可以启动subrequest子请求。

首先调用ngx_http_subrequest方法建立subrequest子请求，在ngx_http_mytest_handler返回后，HTTP框架会自动执行子请求。

先看以下ngx_http_subrequest的定义：

ngx_int_t
ngx_http_subrequest(ngx_http_request_t *r,
                    ngx_str_t *uri,ngx_str_t *args,ngx_http_request_t **psr,
                    ngx_http_post_subrequest_t *ps,ngx_uint_t flags);

1.ngx_http_request *r 是指当前请求，也就是父请求。

2.ngx_str_t *u 是子请求的URI。

3.ngx_str_t *args  是子请求的URI参数，如果没有参数，可以传送NULL指针。

4.ngx_http_request **psr  产生的子请求将通过这个参数传出去。

5.ngx_http_post_subrequest_t *ps  用来设置子请求处理完毕时的回调方法，下一节有其说明。

6.ngx_uint_t flags 一般设置为0。

 

下图是subrequest的启动过程序列图

 

 

实现子请求处理完毕时的回调方法

Nginx在子请求正常或者异常结束时，都会调用ngx_http_post_subrequest_pt回调方法，它的定义如下

typedef ngx_int_t (*ngx_http_post_subrequest_pt) (ngx_http_request_t *r,void *data,ngx_int_t rc);

在上一节中提到的ngx_http_post_subrequest_t结构如下

typedef struct {
    ngx_http_post_subrequest_pt handler;
    void *data;
} ngx_http_post_subrequest_t;

其中ngx_http_post_subrequest_pt回调方法执行时的data参数就是该结构体中的data成员指针。

该回调方法ngx_http_request_t类型的参数r指的的子请求。

在ngx_http_post_subrequest_pt回调方法内必须设置父请求激活后的处理方法，例如：

r->parent->write_event_handler=mytest_post_handler;

下图是子请求激活父请求过程的序列图

 

 

处理父请求被重新激活后的回调方法

mytest_post_handler是父请求重新激活后的回调方法，它对应于ngx_http_event_handler_pt指针

typedef void (*ngx_http_event_handler_pt) (ngx_http_request_t *r);
struct ngx_http_request_s {
    ...
    ngx_http_event_handler_pt write_event_handler;
    ...
}

 

 

mytest模块完整代码

  1 #include <ngx_config.h>
  2 #include <ngx_core.h>
  3 #include <ngx_http.h>
  4 
  5 //hq.sinajs.cn/list=s_sh000001
  6 
  7 //请求上下文
  8 typedef struct {
  9     ngx_str_t stock[6];
 10 } ngx_http_mytest_ctx_t;
 11 
 12 static char *
 13 ngx_http_mytest(ngx_conf_t *cf,ngx_command_t *cmd,void *conf);
 14 static ngx_int_t 
 15 ngx_http_mytest_handler(ngx_http_request_t *r);
 16 static void
 17 mytest_post_handler(ngx_http_request_t *r);
 18 
 19 
 20 static ngx_command_t ngx_http_mytest_commands[]={
 21     {
 22         //配置项名称
 23         ngx_string("mytest"),
 24         //配置项类型(可出现的位置，参数的个数)
 25         NGX_HTTP_MAIN_CONF|NGX_HTTP_SRV_CONF|NGX_HTTP_LOC_CONF|NGX_HTTP_LMT_CONF|NGX_CONF_NOARGS,
 26         //出现了name中指定的配置项后，将会调用该方法处理配置项的参数
 27         ngx_http_mytest,
 28         NGX_HTTP_LOC_CONF_OFFSET,
 29         0,
 30         NULL
 31     },
 32     ngx_null_command
 33 };
 34 
 35 static char *
 36 ngx_http_mytest(ngx_conf_t *cf,ngx_command_t *cmd,void *conf)
 37 {
 38     //找到mytest配置项所属的配置块
 39     ngx_http_core_loc_conf_t *clcf;
 40     clcf=ngx_http_conf_get_module_loc_conf(cf,ngx_http_core_module);
 41     /*
 42         HTTP框架在处理用户请求进行到NGX_HTTP_CONTENT_PHASE阶段时
 43         如果请求的主机域名、URI与mytest配置项所在的配置块相匹配，
 44         就将调用我们事先的ngx_http_mytest_handler方法处理这个请求
 45     */
 46     clcf->handler=ngx_http_mytest_handler;
 47     return NGX_CONF_OK;
 48 }
 49 
 50 static ngx_http_module_t ngx_http_mytest_module_ctx={
 51     NULL,
 52     NULL,
 53     NULL,
 54     NULL,
 55     NULL,
 56     NULL,
 57     NULL,
 58     NULL
 59 };
 60 
 61 ngx_module_t ngx_http_mytest_module={
 62     NGX_MODULE_V1,
 63     //指向ngx_http_module_t结构体
 64     &ngx_http_mytest_module_ctx,
 65     //用来处理nginx.conf中的配置项
 66     ngx_http_mytest_commands,
 67     //表示该模块的类型
 68     NGX_HTTP_MODULE,
 69     NULL,
 70     NULL,
 71     NULL,
 72     NULL,
 73     NULL,
 74     NULL,
 75     NULL,
 76     NGX_MODULE_V1_PADDING
 77 };
 78 
 79 
 80 //子请求结束时的回调方法
 81 static ngx_int_t mytest_subrequest_post_handler(ngx_http_request_t *r,
 82     void *data,ngx_int_t rc)
 83 {
 84     //获取父请求
 85     ngx_http_request_t *pr=r->parent;
 86     //获取上下文
 87     ngx_http_mytest_ctx_t *myctx=ngx_http_get_module_ctx(pr,ngx_http_mytest_module);
 88     
 89     pr->headers_out.status=r->headers_out.status;
 90     //查看返回码，如果为NGX_HTTP_OK，则意味访问成功，接着开始解析HTTP包体
 91     if(r->headers_out.status==NGX_HTTP_OK)
 92     {
 93         int flag=0;
 94         //上游响应会保存在buffer缓冲区中
 95         ngx_buf_t *pRecvBuf=&r->upstream->buffer;
 96         /*
 97             解析上游服务器的相应，并将解析出的值赋到上下文结构体myctx->stock数组中
 98             新浪服务器的返回大致如下:
 99             var hq_str_s_sh000009=" 上证 380,3356.355,-5.725,-0.17,266505,2519967"
100         */
101         for(;pRecvBuf->pos!=pRecvBuf->last;pRecvBuf->pos++)
102         {
103             if(*pRecvBuf->pos==','||*pRecvBuf->pos=='\"')
104             {
105                 if(flag>0)
106                 {
107                     myctx->stock[flag-1].len=pRecvBuf->pos-myctx->stock[flag-1].data;
108                 }
109                 flag++;
110                 myctx->stock[flag-1].data=pRecvBuf->pos+1;
111             }
112             if(flag>6)
113                 break;
114         }
115     }
116     //设置父请求的回调方法
117     pr->write_event_handler=mytest_post_handler;
118     return NGX_OK;
119 }
120 
121 //父请求的回调方法
122 static void
123 mytest_post_handler(ngx_http_request_t *r)
124 {
125     //如果没有返回200，则直接把错误码发送回用户
126     if(r->headers_out.status!=NGX_HTTP_OK)
127     {
128         ngx_http_finalize_request(r,r->headers_out.status);
129         return;
130     }
131     //取出上下文
132     ngx_http_mytest_ctx_t *myctx=ngx_http_get_module_ctx(r,ngx_http_mytest_module);
133     //定义发给用户的HTTP包体内容
134     ngx_str_t output_format=ngx_string("stock[%V],Today current price:%V,volumn:%V");
135     //计算待发送包体的长度
136     int bodylen=output_format.len+myctx->stock[0].len+
137                 myctx->stock[1].len+myctx->stock[4].len-6;
138     r->headers_out.content_length_n=bodylen;
139     //在内存池上分配内存以保存将要发送的包体
140     ngx_buf_t *b=ngx_create_temp_buf(r->pool,bodylen);
141     ngx_snprintf(b->pos,bodylen,(char *)output_format.data,
142                  &myctx->stock[0],&myctx->stock[1],&myctx->stock[4]);
143     b->last=b->pos+bodylen;
144     b->last_buf=1;
145     
146     ngx_chain_t out;
147     out.buf=b;
148     out.next=NULL;
149     //设置Content-Type
150     static ngx_str_t type=ngx_string("text/plain;charset=GBK");
151     r->headers_out.content_type=type;
152     r->headers_out.status=NGX_HTTP_OK;
153     
154     r->connection->buffered|=NGX_HTTP_WRITE_BUFFERED;
155     ngx_int_t ret=ngx_http_send_header(r);
156     ret=ngx_http_output_filter(r,&out);
157     
158     ngx_http_finalize_request(r,ret);
159 }
160 
161 //启动subrequest
162 static ngx_int_t ngx_http_mytest_handler(ngx_http_request_t *r)
163 {
164     //创建HTTP上下文
165     ngx_http_mytest_ctx_t *myctx=ngx_http_get_module_ctx(r,ngx_http_mytest_module);
166     if(myctx==NULL)
167     {
168         myctx=ngx_palloc(r->pool,sizeof(ngx_http_mytest_ctx_t));
169         if(myctx==NULL)
170         {
171             return NGX_ERROR;
172         }
173         ngx_http_set_ctx(r,myctx,ngx_http_mytest_module);
174     }
175     //ngx_http_post_subrequest_t结构体会决定子请求的回调方法
176     ngx_http_post_subrequest_t *psr=ngx_palloc(r->pool,sizeof(ngx_http_post_subrequest_t));
177     if(psr==NULL){
178         return NGX_HTTP_INTERNAL_SERVER_ERROR;
179     }
180     //设置子请求回调方法为mytest_subrequest_post_handler
181     psr->handler=mytest_subrequest_post_handler;
182     //将data设为myctx上下文，这样回调mytest_subrequest_post_handler时传入的data参数就是myctx
183     psr->data=myctx;
184     //子请求的URI前缀是/list
185     ngx_str_t sub_prefix=ngx_string("/list=");
186     ngx_str_t sub_location;
187     sub_location.len=sub_prefix.len+r->args.len;
188     sub_location.data=ngx_palloc(r->pool,sub_location.len);
189     ngx_snprintf(sub_location.data,sub_location.len,
190                  "%V%V",&sub_prefix,&r->args);
191     //sr就是子请求
192     ngx_http_request_t *sr;
193     //调用ngx_http_subrequest创建子请求
194     ngx_int_t rc=ngx_http_subrequest(r,&sub_location,NULL,&sr,psr,NGX_HTTP_SUBREQUEST_IN_MEMORY);
195     if(rc!=NGX_OK){
196         return NGX_ERROR;
197     }
198     return NGX_DONE;
199                  
200 }
View Code

配置好该模块后，利用telnet模拟HTTP请求得到下图

对比与直接访问hq.sinajs.cn/list=s_sh000001

该模块将客户的请求转换成子请求发送个hq.sinajs.cn，然后将其响应的信息修改之后发送给客户。

转载于:https://www.cnblogs.com/runnyu/p/4894329.html

weixin_30487201
关注
nginx subrequest的实现解析
静龙的专栏
08-21 2万+
大家都知道nginx里面有一个subrequest的概念，也就是子请求，它并不是http标准里面的概念，它是在当前请求中发起的一个新的请求，它拥有自己的ngx_http_request_t结构，uri和args。一般来说使用subrequest的效率可能会有些影响，因为它需要重新
nginx subrequest程序示例
Flood_flowing SYN
07-29 2131
仅仅简单的subrequest应用示例。
srcache-nginx-module, 基于透明subrequest的任意 Nginx 位置缓存布局.zip
09-18
srcache-nginx-module, 基于透明subrequest的任意 Nginx 位置缓存布局 电子邮件名称ngx_srcache - 基于透明subrequest的任意 Nginx 位置缓存布局：这里 MODULE 没有与 Nginx 源一起分发。 我们将看到安装说明( 参见参考资料) 。 table-内容NAME状态
ngix：subrequest 的 用途 和 使用流程
zy825316的专栏
04-12 1290
缘由 今天阅读了深入理解nginx的第五章的后半部分，主要讲的就是subrequest，功能我觉得主要就是两点 具备类似代理的功能，就是把一个请求转发到上游服务器，但是与upstream的不同之处主要在于upstream只能把上游服务器的内容原封不动的返还给客户端。但是subrequest可以把上游服务器的相应在代理服务器这边做一定的修改之后再返回给上游服务器 由substream可以将一个
nginx subrequest的一个坑
sjjlu0的专栏
05-24 1885
自己写了一个subrequest模块，通过反向代理将子请求打向后端。 问题是当我发POST请求给nginx时，subrequest总是向后端发GET请求，于是我看了一下源码，在src/http/ngx_http_core_module.c中，原来ngx_http_subrequest方法中定义子请求是这样子的：sr->method = NGX_HTTP_GET;sr->method_name =
nginx实现subrequest子请求
qq_41937509的博客
09-13 735
【代码】nginx实现subrequest子请求。
nginx module开发利器：subrequest
weixin_30894389的博客
09-04 53
nginx是个高性能web server，很多时候我们会把它当成reverse proxy或者web server container使用，但有时我们也会开发它的第三方module，因为module才能完全使用nginx的全事件驱动、无阻塞调用机制，充分使用系统资源，达到SERVER最大处理吞吐量。 在开发nginx module时，我们最有可能遇到的一件事就是，在处理一个请求时，我们需要...
06_Nginx_subrequest模块
田一一
03-15 586
06_Nginx_subrequest模块1. 什么subrequest2. `subrequest`怎么使用2.1 使用`subrequest`仅需要下面四步操作2.2 配置子请求的处理方式2.2.1 上游服务器配置2.2.2 Nginx服务器配置2.3 实现子请求处理完毕时的回调方法 1. 什么subrequest subrequest是由HTTP框架提供的一种分解复杂请求的设计模式，它可以把原始请求分解为许多子请求，使得诸多请求协同完成一个用户请求，并且每个请求只关注于一个功能。 首先，只要不是完全将
《实战Nginx：取代Apache的高性能Web服务器》目录(二)
千牛云的博客
08-21 542
实战Nginx：取代Apache的高性能Web服务器》一书，可谓张宴对 Nginx 应用的经验和 方案的总结，他用通俗易懂的例子，向读者辛释了 Nginx 作为高性能服务器和反向代理服务器 的用法。张宴用在新浪一年多的工作时间，通过反复内部测试，以及在新浪播客、博客等普通访问问 站平台上的实际应用测试，熟练掌握了 Nginx 的配置、优化、开发方面的经验，并且通过他的个 人博客（13.16.10 proxy_headers_hash_bucket_size指令。
深入理解Nginx：模块开发与调试技巧
在高级主题中，Nginx的upstream模块用于管理和调度对后端服务的请求，subrequest则用于内部请求，它们都是实现复杂业务逻辑的重要工具。书中的实例展示了如何有效地使用这些机制来构建高效、灵活的服务架构。 最后...
lubuntu24.04使用vm-tools
kfepiza的博客
11-11 524
Open-VM-Tools是一个旨在提升VMware虚拟化平台操作系统性能的开源软件套件。它通过提供无缝桌面体验、虚拟磁盘驱动、复制粘贴、拖放、网络时间同步和虚拟打印等功能，增强了虚拟机的效率和用户体验。作为开源项目，它具有高透明度和安全性，支持自定义和扩展，并由活跃的开源社区支持。
linux rocky 9.4部署和管理docker harbor私有源
xikui1551的博客
11-08 1211
rocky 部署Harbor私有镜像仓库
云原生-docker安装与基础操作
2201_75446043的博客
11-12 748
Docker 是实现云原生架构的核心技术之一，它通过提供容器化的解决方案，使得应用能够在不同的环境中一致运行，并支持高效的部署和管理。结合 Kubernetes 等工具，Docker 可以帮助开发者构建、部署和管理微服务应用，充分发挥云原生技术的优势，提升应用的灵活性、可扩展性和高可用性。
github加速下载zip
梨子社区
11-08 130
【代码】github加速下载zip。
PVE纵览-从零开始：了解Proxmox Virtual Environment
DreamLife
11-09 945
在这篇文章中，我们将从零开始，带你了解Proxmox Virtual Environment（PVE）。作为一款开源虚拟化管理平台，PVE结合了KVM和LXC技术，提供了强大的虚拟机和容器管理功能。无论是家庭实验室用户还是企业IT专业人士，PVE都能满足多样化的需求。通过这篇简明介绍，你将掌握PVE的基本概念、核心功能及其在虚拟化领域的优势，为进一步学习和应用打下坚实基础。
Python 自动化运维数据湖与大数据平台的自动化管理
switch616的博客
11-11 650
数据湖的架构通常由多个层次组成，包括数据接入层、数据存储层、数据处理层和数据消费层。数据接入层：这一层负责将不同来源的数据采集到数据湖中。数据源可以是日志文件、数据库、外部API等。接入层需要保证数据的稳定流入，同时也需要对接入的数据进行清洗和转换。数据存储层：数据湖通常使用分布式存储系统（如Hadoop HDFS、Amazon S3等）来存储海量数据。运维人员需要确保存储系统的高可用性、数据备份和恢复的能力。数据处理层：数据湖中的数据需要经过ETL（提取、转换、加载）处理。
微知-ssh和scp如何指定端口？
技术札记
11-12 251
ssh默认端口是22，如果服务器ssh服务指定了端口，如何使用ssh或者scp来使用？
IT运维的365天--019 用php做一个简单的文件上传工具
最新发布
zengsir2012的博客
11-12 759
前情提要：朋友的工作室，有几个网站分布在不同的服务器上，要经常进行更新，之前是手动复制压缩包到各个服务器去更新（有写了自动更新的Shell脚本）。于是有了这一篇文章。先是在域名的控制台新增一个A记录到统一的一个服务器上，再新增一个CNAME别名upgrade指向到@ （@即代表域名本体），当然也可以直接upgrade做A记录，自己喜好，不做强求。本来得意满满，以为又搞定了一个事情，直至后来要上传大文件，出错了。我重启了nginx，也重启了php，都不生效，还是报错误，无奈，我重启了服务器后，生效了～
深入理解Nginx：模块开发与架构解析
此外，书中还介绍了如何利用upstream模块访问第三方服务，以及subrequest的概念和应用场景，这些内容对于构建复杂的微服务架构非常有用。 在高级主题中，作者探讨了Nginx提供的高级数据结构，这些结构对于高效地...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值