![01e7b218f88ff852f96ee13bc2206430.png](https://i-blog.csdnimg.cn/blog_migrate/19ddf91b9077e49c4528fc72cb0578f3.jpeg)
本文主要帮助大家熟悉 Nginx 有哪些应用场景、Nginx 特点和架构模型以及相关流程、Nginx 定制化开发的几种模块分类。
![5bc10c7dd83eef212604fcf9dcfc33b2.png](https://i-blog.csdnimg.cn/blog_migrate/d134626e2951dc307fff6c296af7146f.jpeg)
本文将围绕如下几个部分进行讲解:
- Nginx 简介及特点
- Nginx 应用场景
- Nginx 框架模型介绍
- Nginx 内部流程介绍
- Nginx 自定义模块开发介绍
- Nginx 核心时间点模块介绍
- Nginx 分流模块介绍
- Nginx 动态 upstream 模块介绍
- Nginx query_upstrem 模块介绍
- Nginx query_conf 模块介绍
- Nginx 共享内存支持 Redis 协议模块介绍
- Nginx 日志回放压测工具介绍
Nginx 简介以及特点
Nginx (engine x) 是一个高性能的 Web 服务器和反向代理服务器,也是一个 IMAP/POP3/SMTP 服务器:
- 它由俄罗斯程序员 Igor Sysoev 于 2002 年开始开发。
- Nginx 是增长最快的 Web 服务器,市场份额已达 33.3%。
- 全球使用量排名第二,2011 年成立商业公司。
Nginx 社区分支:
- Openresty:作者 @agentzh(章宜春)开发的,最大特点是引入了 ngx_lua 模块,支持使用 Lua 开发插件,并且集合了很多丰富的模块,以及 Lua 库。
- Tengine:主要是淘宝团队开发。特点是融入了因淘宝自身的一些业务带来的新功能。
- Nginx 官方版本,更新迭代比较快,并且提供免费版本和商业版本。
Nginx 源码结构(代码量大约 11 万行 C 代码):
- 源代码目录结构 Core(主干和基础设置)
- Event(事件驱动模型和不同的 IO 复用模块)
- HTTP(HTTP 服务器和模块)
- Mail(邮件代理服务器和模块)
- OS(操作系统相关的实现)
- Misc(杂项)
Nginx 特点如下:
- 反向代理,负载均衡器
- 高可靠性、单 Master 多 Worker 模式
- 高可扩展性、高度模块化
- 非阻塞
- 事件驱动
- 低内存消耗
- 热部署
Nginx 应用场景
Nginx 的应用场景如下:
- 静态文件服务器
- 反向代理,负载均衡
- 安全防御
- 智能路由(企业级灰度测试、地图 POI 一键切流)
- 灰度发布
- 静态化
- 消息推送
- 图片实时压缩
- 防盗链
Nginx 框架模型介绍
进程组件角色:
- Master 进程:监视工作进程的状态;当工作进程死掉后重启一个新的;处理信号和通知工作进程。
- Worker 进程:处理客户端请求,从主进程处获得信号做相应的事情。
- Cache Loader 进程:加载缓存索引文件信息,然后退出。
- Cache Manager进程:管理磁盘的缓存大小,超过预定值大小后最少使用数据将被删除。
Nginx 的框架模型如下图:
![2693d4986c2b9c24198a536ac8d63c78.png](https://i-blog.csdnimg.cn/blog_migrate/843e05a731e5bf802cadd26cc40fceaa.png)
框架模型流程如下图:
![d5c490dcbc108e5dc9c30d6b36b67335.png](https://i-blog.csdnimg.cn/blog_migrate/b47788d98eef06b629c143d93913b8b3.png)
Nginx 内部流程介绍
Nginx 框架模型流程如下图:
![34a2dc2d3aead6d7dd1578460ab11e51.png](https://i-blog.csdnimg.cn/blog_migrate/7d7c185c9f31b58fb4720ff526af37bf.png)
Master 初始化流程,如下图:
![4df23b2b86de1a55264a5ea61bcba9ee.png](https://i-blog.csdnimg.cn/blog_migrate/e8272b0183c0faf37f8fff85d6bfbe78.png)
Worker 初始化:
![f6c8321a00d95135946743c5ad4be9ce.png](https://i-blog.csdnimg.cn/blog_migrate/9a74bc3d569af638898a8c5c16ab6696.png)
Worker 初始化流程图如下:
![65ef0ca3ee3d67c93f69edc6f2c8ff21.png](https://i-blog.csdnimg.cn/blog_migrate/15f5017588d4c6957fb11f454b8c9e7c.png)
静态文件请求 IO 流程如下图:
![c5531087496497bddf67fe03a5623ce3.png](https://i-blog.csdnimg.cn/blog_migrate/edab9b06f599fc2bc7274848ae280512.png)
HTTP 请求流程如下图:
![69d3d3a93abd4937d1a92f0c9541bd2c.png](https://i-blog.csdnimg.cn/blog_migrate/c27901c901b139c6d15f35573706d9e3.png)
HTTP 请求 11 个阶段,如下图所示:
![0f07834d6116c51374cec72d328d71ff.png](https://i-blog.csdnimg.cn/blog_migrate/415798924fd73ca8d4045c90e9becf41.png)
upstream模块:
- 访问第三方 Server 服务器
- 底层 HTTP 通信非常完善
- 异步非阻塞
- 上下游内存零拷贝,节省内存
- 支持自定义模块开发
upstream 框架流程,如下图:
![74ea23edd1fb71196b81077defbfdf90.png](https://i-blog.csdnimg.cn/blog_migrate/cde38e271023959331ed4489bcb3b976.png)
upstream 内部流程,如下图:
![9415805d8f4b3eea377a7177816ee6f4.png](https://i-blog.csdnimg.cn/blog_migrate/8ba655fd62fd0d29ac8d5561bccf1401.png)
反向代理流程,如下图:
![dd1b28bdbabc50d5e9dd0c144483e294.png](https://i-blog.csdnimg.cn/blog_migrate/90ceba94b8d17ef07c3b7109c6ac12f9.png)
Nginx 定制化模块开发
Nginx 的模块化设计特点如下:
- 高度抽象的模块接口
- 模块接口非常简单,具有很高的灵活性
- 配置模块的设计
- 核心模块接口的简单化
- 多层次、多类别的模块设计
内部核心模块:
![25e2044af1651f59bebf8ba74d6aff20.png](https://i-blog.csdnimg.cn/blog_migrate/fc965a3bb452dce9981511a01aa38e05.png)
![304dc2edaedf6417c45f8059ce701796.png](https://i-blog.csdnimg.cn/blog_migrate/0bf6c7cbbe1be6325c3112ce5cf778f6.jpeg)
Handler 模块:接受来自客户端的请求并构建响应头和响应体。
![53f150b513f5b3b24fcbe8b14ffa56ec.png](https://i-blog.csdnimg.cn/blog_migrate/36f55675cdf1c4729b59e6275098c6ec.png)
Filter 模块:过滤(filter)模块是过滤响应头和内容的模块,可以对回复的头和内容进行处理。它的处理时间在获取回复内容之后,向用户发送响应之前。
![e234435cf3cf258f9f59b2b9969e3811.png](https://i-blog.csdnimg.cn/blog_migrate/10d5989171922361372a0edb72693822.png)
Upstream 模块:使 Nginx 跨越单机的限制,完成网络数据的接收、处理和转发,纯异步的访问后端服务。
![c1585e9147584804d9a297728165378e.png](https://i-blog.csdnimg.cn/blog_migrate/a6dbbf098714ae1db2bb0943f36b0e57.png)
Load_Balance:负载均衡模块,实现特定的算法,在众多的后端服务器中,选择一个服务器出来作为某个请求的转发服务器。
![152731a82c126a249b0f4a8d93c74a27.png](https://i-blog.csdnimg.cn/blog_migrate/b851e22de9f69425eea2f017d0189ad4.png)
ngx_lua 模块:
- 脚本语言
- 内存开销小
- 运行速度快
- 强大的 Lua 协程
- 非阻塞
- 业务逻辑以自然逻辑书写
![d1ae9a3b9814448ab529fc41e5b40e65.png](https://i-blog.csdnimg.cn/blog_migrate/a35ddb1d8da6347f5f07670c619d9a0c.png)
定制化开发 Demo
Handler 模块:
- 编写 config 文件
- 编写模块产生内容响应信息
#配置文件:
server {
...
location test {
test_counter on;
}
}
#config
ngx_addon_name=ngx_http_test_module
HTTP_MODULES="$HTTP_MODULES ngx_http_test_module"
NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_test_module.c"
#ngx_http_test_module.c
static ngx_int_t
ngx_http_test_handler(ngx_http_request_t *r)
{
ngx_int_t rc;
ngx_buf_t *b;
ngx_chain_t out;
ngx_http_test_conf_t *lrcf;
ngx_str_t ngx_test_string = ngx_string("hello test");
lrcf = ngx_http_get_module_loc_conf(r, ngx_http_test_module);
if ( lrcf->test_counter == 0 ) {
return NGX_DECLINED;
}
/* we response to 'GET' and 'HEAD' requests only */
if ( !(r->method & (NGX_HTTP_GET|NGX_HTTP_HEAD)) ) {
return NGX_HTTP_NOT_ALLOWED;
}
/* discard request body, since we don't need it here */
rc = ngx_http_discard_request_body(r);
if ( rc != NGX_OK ) {
return rc;
}
/* set the 'Content-type' header */
/*
*r->headers_out.content_type.len = sizeof("text/html") - 1;
*r->headers_out.content_type.data = (u_char *)"text/html";
*/
ngx_str_set(&r->headers_out.content_type, "text/html");
/* send the header only, if the request type is http 'HEAD' */
if ( r->method == NGX_HTTP_HEAD ) {
r->headers_out.status = NGX_HTTP_OK;
r->headers_out.content_length_n = ngx_test_string.len;
return ngx_http_send_header(r);
}
/* set the status line */
r->headers_out.status = NGX_HTTP_OK;
r->headers_out.content_length_n = ngx_test_string.len;
/* send the headers of your response */
rc = ngx_http_send_header(r);
if ( rc == NGX_ERROR || rc > NGX_OK || r->header_only ) {
return rc;
}
/* allocate a buffer for your response body */
b = ngx_pcalloc(r->pool, sizeof(ngx_buf_t));
if ( b == NULL ) {
return NGX_HTTP_INTERNAL_SERVER_ERROR;
}
/* attach this buffer to the buffer chain */
out.buf = b;
out.next = NULL;
/* adjust the pointers of the buffer */
b->pos = ngx_test_string.data;
b->last = ngx_test_string.data + ngx_test_string.len;
b->memory = 1; /* this buffer is in memory */
b->last_buf = 1; /* this is the last buffer in the buffer chain */
/* send the buffer chain of your response */
return ngx_http_output_filter(r, &out);
}
Nginx 核心时间点模块介绍
解决接入层故障定位慢的问题,帮助 OP 快速判定问题根因,优先自证清白,提高接入层高效的生产力。
![b0cd8c895582d00d2e6a8556872740f5.png](https://i-blog.csdnimg.cn/blog_migrate/006a3e9d418a938226e939cbfb0ba2ad.png)
Nginx 分流模块介绍
Nginx 分流模块特点如下:
- 实现非常灵活的动态的修改策略从而进行切流量。
- 实现平滑无损的方式进行流量的切换。
- 通过秒级切换流量可以缩小影响范围,从而减少损失。
- 按照某一城市或者某个特征,秒级进行切换流量或者禁用流量。
- 容忍单机房级别容量故障,缩短了单机房故障的止损时间。
- 快速的将流量隔离或者流量抽样。
- 高效的灰度测试,提高生产力。
![3196e46b840b112a490db9f53102fec4.png](https://i-blog.csdnimg.cn/blog_migrate/992e0dd46d598051975f0d6d6dbef6f6.png)
Nginx 动态 upstream 模块介绍
让接入层可以适配动态调度的云环境,实现服务的平滑上下线、弹性扩/缩容。
从而提高接入层高效的生产力以及稳定性,保证业务流量的平滑无损。
![dd2fb15af55f988c9cd7e18edec6d000.png](https://i-blog.csdnimg.cn/blog_migrate/e6c565f3ebed469912ca9ae8ea0b09e7.png)
Nginx query_upstream 模块介绍
链路追踪,梳理接口到后端链路的情况。查询 location 接口对应 upstream server 信息。
![38b574fff9b6c47be93225045a87f7a5.png](https://i-blog.csdnimg.cn/blog_migrate/2fe18b7418c2a13660ed6285cf1d4ac9.png)
Nginx query_conf 模块介绍
获取 Nginx 配置文件格式化为 json 格式信息:
![a39a1ea751154bc0bb5d321a651e5cfe.png](https://i-blog.csdnimg.cn/blog_migrate/bb475752f7ed09e61eafca790afbaa0c.png)
Nginx 共享内存支持 Redis 协议模块介绍
根据配置文件来动态的添加共享内存:
https://github.com/lidaohang/ngx_shm_dict
ngx_shm_dict:共享内存核心模块(红黑树,队列)
ngx_shm_dict_manager:添加定时器事件,定时的清除共享内存中过期的 Key,添加读事件,支持 Redis 协议,通过 redis-cli get,set,del,ttl
ngx_shm_dict_view:共享内存查看
![42709b29d88ff54b798191c056170c4f.png](https://i-blog.csdnimg.cn/blog_migrate/269a494179734d6f36daf2423c8e4375.png)
Nginx 日志回放压测工具
解析日志进行回放压测,模拟后端服务器慢等各种异常情况 :
https://github.com/lidaohang/playback-testing
方案说明:
- 客户端解析 access.log 构建请求的 host,port,url,body。
- 把后端响应时间,后端响应状态码,后端响应大小放入 header 头中。
- 后端服务器获取相应的 header,进行模拟响应 body 大小,响应状态码,响应时间。
使用方式:
- 拷贝需要测试的 access.log 的日志到 logs 文件夹里面。
- 搭建需要测试的 Nginx 服务器,并且配置 upstream 指向后端服务器端口
- 启动后端服务器实例
server/backserver/main.go
- 进行压测
bin/wrk -c30 -t1 -s conf/nginx_log.lua http://localhost:8095
![c918fe06731b9e353d1d750bd231c772.png](https://i-blog.csdnimg.cn/blog_migrate/78c8ac119283a3297090e0a75e26cc9f.jpeg)
以上有不足的地方可以指出讨论,觉得不错的朋友希望能得到您的转发支持,同时可以持续关注我,每天分享Linux C/C++后台开发干货内容!
蟹蟹!