本文主要介绍nginx中reuseport的使用,文中代码较多,阅读本文需要读者对nginx事件模块以及nginx配置过程有了解。
由于nginx比较复杂,且笔者对nginx的理解有限,文章难免存在疏忽之处,敬请指出,万分感谢!
一、reuseport的配置及解析
reuseport通过listen指令来配置,配置如下:
listen 443 reuseport;
listen指令由ngx_http_core_module模块的ngx_http_core_listen() 函数进行解析。
ngx_http_core_module.c的相关解析命令如下:
{ ngx_string("listen"),
NGX_HTTP_SRV_CONF|NGX_CONF_1MORE, //listen指令只能配置在server块中,至少携带一个参数(443,reuseport等等)
ngx_http_core_listen, //解析listen指令的函数
NGX_HTTP_SRV_CONF_OFFSET,
0,
NULL },
由于篇幅限制,下面仅介绍reuseport相关的解析,不完全介绍listen指令的解析。
// 解析listen指令携带的参数,从第二个参数开始(第一个参数为ip+port)
for (n = 2; n < cf->args->nelts; n++) {
...
if (ngx_strcmp(value[n].data, "bind") == 0) {
lsopt.set = 1;
lsopt.bind = 1; //强制对此ip+port进行bind操作,如不配置bind,可能会忽略此ip+port,后续会介绍忽略的情况
continue;
}
//解析到reuseport配置,将reuseport标志置为1,同时将bind也置为1
if (ngx_strcmp(value[n].data, "reuseport") == 0) {
lsopt.reuseport = 1;
lsopt.set = 1;
lsopt.bind = 1;
continue;
}
...
}
二、创建listening结构
master解析完http block之后会掉用ngx_http_optimize_servers()函数对配置的ip+port进行相应的处理,主要进行下面两个操作:
1、检查所有当前http block下的listen配置是否存在重复,即是否存在两个listen指令配置了相同的ip + port + server_name。如果存在重复的配置则会忽略靠后的ip+port+server_name的配置。检查由ngx_http_server_names()函数完成,此处并不详细介绍,有兴趣可自行查阅相应代码。
2、根据解析的配置创建listening结构,master后续监听的端口均由listening获得,每个listening结构对应一次bind + listening操作,此处重点介绍listening的创建。
首先ngx_http_optimize_servers()函数调用ngx_http_init_listening()函数,ngx_http_init_listening()代码如下:
static ngx_int_t
ngx_http_init_listening(ngx_conf_t *cf, ngx_http_conf_port_t *port)
{
ngx_uint_t i, last, bind_wildcard;
ngx_listening_t *ls;
ngx_http_port_t *hport;
ngx_http_conf_addr_t *addr;
/*
以下是port的存储结构,一个port对应多个addrs(即port+ip),一个addr对应多个server(即server_name)
port - > addr1----|-----> server1
addr2 |-----> server2
addr3
...
*/
addr = port->addrs.elts; //取出port的所有addr,一个port可能对应多个ip+port
last = port->addrs.nelts; //port中addr的个数
//每一个port的addr都已经排序了(插入排序),ip为通配符(INADDR_ANY)的addr在最后面,配置了bind的addr在前面
if (addr[last - 1].opt.wildcard) {
addr[last - 1].opt.bind = 1;
bind_wildcard = 1;
} else {
bind_wildcard = 0;
}
i = 0;
while (i < last) {
//该port存在内容为INADDR_ANY+port的addr,若当前addr(ip+port)没有配置bind,则不需要显示地对当前ip+addr进行监听
if (bind_wildcard && !addr[i].opt.bind) {
i++;
continue;
}
ls = ngx_http_add_listening(cf, &addr[i]); //为当前ip+port创建一个listening结构,用于监听
if (ls == NULL) {
return NGX_ERROR;
}
hport = ngx_pcalloc(cf->pool, sizeof(ngx_http_port_t));
if (hport == NULL) {
return NGX_ERROR;
}
/*
以下代码将上面提到的不需要监听的ip+port的相关配置存储到最后的addr(INADDR_ANY+port)中,便于收到连接请求时,可以找到正确的配置。
但是存在一个问题,对于ip+port存在多个server的情况,在建立连接时ngx_http_init_connection()中只能取到ip+port的default_server。
*/
ls->servers = hport;
hport->naddrs = i + 1;
switch (ls->sockaddr->sa_family) {
#if (NGX_HAVE_INET6)
case AF_INET6:
if (ngx_http_add_addrs6(cf, hport, addr) != NGX_OK) {
return NGX_ERROR;
}
break;
#endif