nginx源码分析—reuseport的使用

本文主要介绍nginx中reuseport的使用，文中代码较多，阅读本文需要读者对nginx事件模块以及nginx配置过程有了解。

由于nginx比较复杂，且笔者对nginx的理解有限，文章难免存在疏忽之处，敬请指出，万分感谢！

一、reuseport的配置及解析

reuseport通过listen指令来配置，配置如下：

listen 443 reuseport;

listen指令由ngx_http_core_module模块的ngx_http_core_listen() 函数进行解析。
ngx_http_core_module.c的相关解析命令如下：

{ ngx_string("listen"),
      NGX_HTTP_SRV_CONF|NGX_CONF_1MORE, //listen指令只能配置在server块中，至少携带一个参数（443，reuseport等等）
      ngx_http_core_listen, //解析listen指令的函数
      NGX_HTTP_SRV_CONF_OFFSET, 
      0,
      NULL },

由于篇幅限制，下面仅介绍reuseport相关的解析，不完全介绍listen指令的解析。

// 解析listen指令携带的参数，从第二个参数开始（第一个参数为ip+port）
for (n = 2; n < cf->args->nelts; n++) {
	...
	if (ngx_strcmp(value[n].data, "bind") == 0) {
       lsopt.set = 1;
       lsopt.bind = 1; //强制对此ip+port进行bind操作，如不配置bind，可能会忽略此ip+port，后续会介绍忽略的情况
       continue;
    }
	
	//解析到reuseport配置，将reuseport标志置为1，同时将bind也置为1
	if (ngx_strcmp(value[n].data, "reuseport") == 0) {
        lsopt.reuseport = 1;
        lsopt.set = 1;
        lsopt.bind = 1;
        continue;
    }
	...
}

二、创建listening结构

master解析完http block之后会掉用ngx_http_optimize_servers()函数对配置的ip+port进行相应的处理，主要进行下面两个操作：

1、检查所有当前http block下的listen配置是否存在重复，即是否存在两个listen指令配置了相同的ip + port + server_name。如果存在重复的配置则会忽略靠后的ip+port+server_name的配置。检查由ngx_http_server_names()函数完成，此处并不详细介绍，有兴趣可自行查阅相应代码。

2、根据解析的配置创建listening结构，master后续监听的端口均由listening获得，每个listening结构对应一次bind + listening操作，此处重点介绍listening的创建。

首先ngx_http_optimize_servers()函数调用ngx_http_init_listening()函数，ngx_http_init_listening()代码如下：

static ngx_int_t
ngx_http_init_listening(ngx_conf_t *cf, ngx_http_conf_port_t *port)
{
    ngx_uint_t                 i, last, bind_wildcard;
    ngx_listening_t           *ls;
    ngx_http_port_t           *hport;
    ngx_http_conf_addr_t      *addr;

/*
以下是port的存储结构，一个port对应多个addrs（即port+ip），一个addr对应多个server（即server_name）
port - > addr1----|-----> server1
         addr2    |-----> server2
         addr3
    	  ...

*/

    addr = port->addrs.elts; //取出port的所有addr，一个port可能对应多个ip+port
    last = port->addrs.nelts; //port中addr的个数

	//每一个port的addr都已经排序了（插入排序），ip为通配符（INADDR_ANY）的addr在最后面，配置了bind的addr在前面
    if (addr[last - 1].opt.wildcard) {
        addr[last - 1].opt.bind = 1;
        bind_wildcard = 1;

    } else {
        bind_wildcard = 0;
    }

    i = 0;

    while (i < last) {
   
        //该port存在内容为INADDR_ANY+port的addr，若当前addr（ip+port）没有配置bind，则不需要显示地对当前ip+addr进行监听
        if (bind_wildcard && !addr[i].opt.bind) { 
            i++;
            continue;
        }

        ls = ngx_http_add_listening(cf, &addr[i]); //为当前ip+port创建一个listening结构，用于监听
        if (ls == NULL) {
            return NGX_ERROR;
        }

        hport = ngx_pcalloc(cf->pool, sizeof(ngx_http_port_t));
        if (hport == NULL) {
            return NGX_ERROR;
        }

       /*
       以下代码将上面提到的不需要监听的ip+port的相关配置存储到最后的addr（INADDR_ANY+port）中，便于收到连接请求时，可以找到正确的配置。
       但是存在一个问题，对于ip+port存在多个server的情况，在建立连接时ngx_http_init_connection()中只能取到ip+port的default_server。
       */
        ls->servers = hport;

        hport->naddrs = i + 1;

        switch (ls->sockaddr->sa_family) {

#if (NGX_HAVE_INET6)
        case AF_INET6:
            if (ngx_http_add_addrs6(cf, hport, addr) != NGX_OK) {
                return NGX_ERROR;
            }
            break;
#endif