Nginx Event模块

Nginx Event模块

以下内容基于 Nginx 版本 1.8.0

主要结构说明

Nginx Event模块主要由三个模块构成：

- ngx_events_module
- ngx_event_core_module
- ngx_epoll_module

三个模块的配置加载可参见Nginx配置及配置加载，不再进行赘述

ngx_event_core_module 为 Nginx 核心模块，负责 Nginx 的事件处理

ngx_epoll_module 为IO多路复用模块，在 Linux 下默认使用该模块，在其它平台下会使用其他模块，如 freebsd 下使用 ngx_kqueue_module

ngx_module_t 的主要挂载函数

struct ngx_module_s {
    ...
    ngx_int_t           (*init_master)(ngx_log_t *log);       //目前未使用

    ngx_int_t           (*init_module)(ngx_cycle_t *cycle);   //master进程在ngx_init_cycle中调用

    ngx_int_t           (*init_process)(ngx_cycle_t *cycle);  //work进程在进入主循环前调用ngx_worker_process_init时调用
    ngx_int_t           (*init_thread)(ngx_cycle_t *cycle);   //目前未使用
    void                (*exit_thread)(ngx_cycle_t *cycle);   //目前未使用
    void                (*exit_process)(ngx_cycle_t *cycle);  //在work进程收到信号退出时调用ngx_worker_process_exit时调用

    void                (*exit_master)(ngx_cycle_t *cycle);   //在master进程收到退出或终止信号时调用ngx_master_process_exit时调用
    ...
};

Nginx三个主要模块中，只有 ngx_event_core_module 挂在了 init_module 和 init_process，其它两个模块均未挂载相应的处理函数。

ngx_event_core_module 模块挂载的处理函数：

init_module：ngx_event_module_init
init_process：ngx_event_process_init

ngx_events_module

Nginx 在配置加载阶段会加载 ngx_events_module 的配置 ngx_events_block，该配置函数会加载其它的 NGX_EVENT_MODULE 类型的模块(ngx_event_core_module 和 ngx_epoll_module)

ngx_events_block

该函数主要处理以下几个内容：

1. 调用所有 NGX_EVENT_MODULE 类型模块的 ngx_modules[i]->ctx->create_conf

2. 加载所有 NGX_EVENT_MODULE 类型模块的 配置

3. 调用所有 NGX_EVENT_MODULE 类型模块的 ngx_modules[i]->ctx->init_conf

通过以上三步，达到对 NGX_EVENT_MODULE 模块的配置加载和初始化

ngx_event_core_module 模块

ngx_event_core_module 配置

ngx_event_core_module 保存了 Event 处理主要的配置

typedef struct {
    ngx_uint_t    connections;         //连接数，默认初始化为512，读取events下的worker_connections或connections配置项，如：worker_connections  1024
    ngx_uint_t    use;                 //使用的多路复用的event模块的ctx_indx，读取events下的use配置项，如：use epoll

    ngx_flag_t    multi_accept;        //默认为0，读取events下的multi_accept配置项，如：multi_accept off
    ngx_flag_t    accept_mutex;        //默认为1，读取events下的accept_mutex配置项，如：accept_mutex on

    ngx_msec_t    accept_mutex_delay;  //默认为500，读取events下的accept_mutex_delay配置项，如：accept_mutex_delay 500

    u_char       *name;                //如ngx_epoll_module_ctx，其为epoll_name("epoll"，ngx_epoll_module_ctx->ngx_epoll_module_ctx->name)

#if (NGX_DEBUG)
    ngx_array_t   debug_connection;
#endif
} ngx_event_conf_t;

• connections：这个配置会和 openfile 的限制数有关系，具体可以使用 ulimit -a 查看，如果该配置项大于限制数，会将其调整为系统中的最大限制数
• use：用于标记使用的是那个IO复用模块，如 epoll
• accept_mutex：表示使用 accept 锁(用于解决惊群问题)

ngx_event_module_init

该函数主要处理两件事：

1. 对 ecf->connections 的配置进行检验，如果超过系统的限制上限，将其调整为系统上限，系统上限可使用 ulimit -a 查看 open files

2. 创建一个共享内存，该内存包括一个进程共享的互斥锁和一些统计用的字段：

   ngx_accept_mutex
   ngx_connection_counter
   ngx_temp_number
   ngx_random_number
   ngx_stat_accepted
   ngx_stat_handled
   ngx_stat_requests
   ngx_stat_active
   ngx_stat_reading
   ngx_stat_writing
   ngx_stat_waiting
   

以 ngx_stat_ 开始的几个变量是 ngx_http_stub_status_module 使用的，用于对 Nginx 的运行状态进行统计

ngx_event_process_init

该函数主要处理以下几个内容：

1. 当为多进程模式(master+worker 进程)，worker 进程数为2个以上，并且 accept_mutex 打开时，对以下变量进行赋值：

   ngx_use_accept_mutex：1表示使用 accept_mutex（ngx_accept_mutex）
   ngx_accept_mutex_held：0表示 accept_mutex 未被占用
   ngx_accept_mutex_delay：ecf->accept_mutex_delay
   

   当只有一个 worker 进程时，不启用 accept_mutex，ngx_use_accept_mutex 会被置为0

2. 初始化两个队列

   ngx_queue_init(&ngx_posted_accept_events)：accept 事件处理队列
   ngx_queue_init(&ngx_posted_events)：其它事件处理队列
   

3. 调用NGX_EVENT_MODULE的actions.init

   ctx_index 必须与 ecf->use 一致，如 epoll 模块直接调用 ngx_epoll_init 对 epoll 模块进行初始化

4. 使用 epoll 会处理SIGALRM，该信号的处理函数为 ngx_timer_signal_handler

5. 初始化 connections

   Nginx 会根据初始配置初始化一个 connection 池，并放入到 cycle->free_connections 作为空闲连接，如果后续有连接进来会到该空闲池中取出一个连接使用，这样可以避免频繁的创建和删除 connection

6. 建立监听事件

   对每个监听的端口，从连接池获取一个空闲的连接：

   ls = cycle->listening.elts;
   for (i = 0; i < cycle->listening.nelts; i++) {
   
       c = ngx_get_connection(ls[i].fd, cycle->log);
       ...