Nginx源码分析 - 基础数据结构篇 - 双向链表结构 ngx_queue.c(05)

本文详细介绍了Nginx中的链表数据结构ngx_queue_t的设计理念与实现细节,包括其精巧的数据结构定义、双向链表的具体实现及常用操作方法,并通过ngx_queue_data函数实现链表与业务数据结构的解耦。

目录

一、数据结构定义

二、数据结构图

三、具体函数实现

1. 链表常用操作方法

2. 获取链表的主体结构 ngx_queue_data


Nginx的链表结构非常小巧和简单。设计的非常精巧。

通过链表的简单和精巧的设计,让Nginx的链表的数据结构和具体业务依赖进行了解耦。一般我们在设计c语言程序的时候,完全可以学习Nginx的这种数据结构的设计方式。

一、数据结构定义


链表数据结构 ngx_queue_t

typedef struct ngx_queue_s ngx_queue_t;

/**
 * 链表的数据结构非常简单,ngx_queue_s会挂载到实体
 * 结构上。然后通过ngx_queue_s来做成链表
 */
struct ngx_queue_s {
	ngx_queue_t *prev;
	ngx_queue_t *next;
};
  • prev:前一个元素。
  • next:后一个元素。

大家都看到这个链表的数据结构非常简单,甚至没有和任何的业务数据结构关联起来。但是如何用的呢?

一般情况下,会在业务的数据结构中,放置一个ngx_queue_t的数据结构。通过这个数据结构进行双向链表的连接。

例如下面的数据结构:

/**
 * 该结构体用于描述一个网络连接
 */
struct ngx_connection_s {
	void *data; //连接未使用时,data用于充当连接池中空闲链表中的next指针。连接使用时由模块而定,HTTP中,data指向ngx_http_request_t
	ngx_event_t *read; //连接对应的读事件
	ngx_event_t *write; //连接对应的写事件

	ngx_socket_t fd; //套接字句柄

	ngx_recv_pt recv; //直接接受网络字节流
	ngx_send_pt send; //直接发送网络字节流
	ngx_recv_chain_pt recv_chain; //网络字节流接收链表
	ngx_send_chain_pt send_chain; //网络字节流发送链表

	/*用来将当前连接以双向链表元素的形式添加到ngx_cycle_t核心结构体
	 * 的reuseable_connection_queue双向链表中,表示可以重用的连接*/
	ngx_queue_t queue;

	/* 省去部分 */
};

二、数据结构图


 

  • 整个链表实现的是双向链表。
  • 遍历链表后,获取链表的主体业务数据结构(上图为ngx_connection_s)使用ngx_queue_data方法
  • 链表和业务数据结构之间进行了解耦,使用更加灵活和方便。

三、具体函数实现


1. 链表常用操作方法


Nginx的链表用宏定义的方式定义了很多常用的双向链表操作方法。

/**
 * 初始化一个Q
 */
#define ngx_queue_init(q)                                                     \
    (q)->prev = q;                                                            \
    (q)->next = q

/**
 * 判断是否是空Q
 */
#define ngx_queue_empty(h)                                                    \
    (h == (h)->prev)

/**
 * 向链表H后面插入一个x的Q,支持中间插入
 */
#define ngx_queue_insert_head(h, x)                                           \
    (x)->next = (h)->next;                                                    \
    (x)->next->prev = x;                                                      \
    (x)->prev = h;                                                            \
    (h)->next = x

#define ngx_queue_insert_after   ngx_queue_insert_head

/**
 * 向链表H前面插入一个x的Q,支持中间插入
 */
#define ngx_queue_insert_tail(h, x)                                           \
    (x)->prev = (h)->prev;                                                    \
    (x)->prev->next = x;                                                      \
    (x)->next = h;                                                            \
    (h)->prev = x

/**
 * h是尾部,链表的第一个元素
 */
#define ngx_queue_head(h)                                                     \
    (h)->next

// h 是头,h 的上一个就是尾
#define ngx_queue_last(h)                                                     \
    (h)->prev

#define ngx_queue_sentinel(h)                                                 \
    (h)

/**
 * 返回节点Q的下一个元素
 */
#define ngx_queue_next(q)                                                     \
    (q)->next

/**
 * 返回节点Q的上一个元素
 */
#define ngx_queue_prev(q)                                                     \
    (q)->prev

#if (NGX_DEBUG)

/**
 * 移除某一个节点
 */
#define ngx_queue_remove(x)                                                   \
    (x)->next->prev = (x)->prev;                                              \
    (x)->prev->next = (x)->next;                                              \
    (x)->prev = NULL;                                                         \
    (x)->next = NULL

#else

#define ngx_queue_remove(x)                                                   \
    (x)->next->prev = (x)->prev;                                              \
    (x)->prev->next = (x)->next

#endif

//分割一个链表
#define ngx_queue_split(h, q, n)                                              \
    (n)->prev = (h)->prev;                                                    \
    (n)->prev->next = n;                                                      \
    (n)->next = q;                                                            \
    (h)->prev = (q)->prev;                                                    \
    (h)->prev->next = h;                                                      \
    (q)->prev = n;


#define ngx_queue_add(h, n)                                                   \
    (h)->prev->next = (n)->next;                                              \
    (n)->next->prev = (h)->prev;                                              \
    (h)->prev = (n)->prev;                                                    \
    (h)->prev->next = h;

2. 获取链表的主体结构 ngx_queue_data


前面我们已经看到,Nginx的ngx_queue_t数据结构是挂载在具体的业务数据结构上面的。通过ngx_queue_data,我们可以通过业务结构体中ngx_queue_t数据结构的偏移量来得到业务主体的数据结构的指针地址。

此函数,是Nginx 链表设计的关键点。

/**
 * 通过链表可以找到结构体所在的指针
 * typedef struct {
 * 		ngx_queue_s queue;
 * 		char * x;
 * 		....
 * } TYPE
 * 例如:ngx_queue_data(&type->queue, TYPE, queue)
 */
#define ngx_queue_data(q, type, link)                                         \
    (type *) ((u_char *) q - offsetof(type, link))

 

 

<think>嗯,用户现在问的是Nginx的高级数据结构,特别是ngx_queue_t的用途。之前用户已经询问过关于request_pool_size销毁的原因,可能现在想深入了解Nginx内部的实现机制。我需要先回忆一下ngx_queue_t的相关知识。 首先,ngx_queue_t是Nginx中一个双向链表的实现。用户可能想知道为什么Nginx要自己实现这样的数据结构,而不是使用C语言标准库里的结构。这可能涉及到性能优化、内存管理或者跨平台兼容性的问题。 接着,用户可能对具体的使用场景感兴趣。比如在HTTP模块中,Nginx如何处理请求,哪些部分会用到这种链表结构。需要举一些例子,比如维护定时事件、管理HTTP请求等,说明ngx_queue_t的实际应用。 另外,用户可能想了解这种数据结构的特点,比如轻量级、不侵入数据结构的实现方式。需要解释侵入式和非侵入式链表的区别,以及为什么Nginx选择这种方式。可能还要提到内存管理的优势,比如内存池的配合使用,减少内存碎片。 还要考虑用户可能的疑问,比如与其他数据结构如红黑树的区别。这时候需要指出链表和树的不同应用场景,比如链表适合频繁插入删除,而红黑树适合快速查找。说明Nginx如何根据不同的需求选择不同的数据结构。 另外,用户可能对如何在自己的模块中使用ngx_queue_t感兴趣,可能需要简单的代码示例,但用户问题中没有明确要求,所以可能不需要详细代码,但可以简要说明其使用方式,比如初始化、插入节点等步骤。 最后,总结ngx_queue_t的优势,比如高效、灵活、节省内存,以及为什么在Nginx中这样的设计是合理的,适合高并发场景的需求。同时确保回答结构清晰,符合之前用户要求的层次分明的格式,比如分点说明用途、设计特点、优势比较等。</think>Nginx 内部设计了许多高效的自定义数据结构以适配高并发场景,`ngx_queue_t` 是其中一种双向链表的实现,其核心价值在于**轻量级、无侵入、内存友好**的设计。以下是其关键用途与设计逻辑: --- ### 一、`ngx_queue_t` 的核心用途 1. **轻量级链表操作** - 用于需要频繁插入、删除但无需复杂查找的场景(如定时器事件管理、HTTP 请求阶段处理器链)。 - 示例: - 维护超时事件(`ngx_event_timer_rbtree` 结合红黑树和队列管理)。 - HTTP 请求处理阶段(`phase_engine` 中按顺序调用各阶段处理函数)。 2. **无侵入式设计** - 链表节点(`ngx_queue_t`)**不嵌入业务数据结构**,而是通过指针关联,避免强制耦合。 例如: ```c typedef struct { ngx_queue_t queue; // 链表节点 void *data; // 实际业务数据指针 } ngx_custom_node_t; ``` - 优势:同一业务结构可同时加入多个链表,灵活性高。 3. **内存池友好** - 节点内存通常从 Nginx 的 `ngx_pool_t` 内存池分配,生命周期与请求或连接绑定,避免内存泄漏。 --- ### 二、`ngx_queue_t` 的设计特点 1. **极简结构体** 仅包含前驱(`prev`)和后继(`next`)指针,无额外开销: ```c typedef struct ngx_queue_s ngx_queue_t; struct ngx_queue_s { ngx_queue_t *prev; ngx_queue_t *next; }; ``` 2. **高效操作宏** 提供宏直接操作链表,避免函数调用开销(如 `ngx_queue_insert_head`、`ngx_queue_remove`)。 3. **与红黑树互补** - **`ngx_queue_t`**:适合顺序遍历或频繁增删。 - **`ngx_rbtree_t`**:适合快速查找(如定时器、共享内存键值存储)。 - 两者常结合使用(例如定时器用红黑树管理超时时间,用队列维护活跃事件)。 --- ### 三、对比传统链表的优势 | 特性 | `ngx_queue_t` | 传统链表(如 Linux 内核 `list_head`) | |---------------------|--------------------------------|--------------------------------------| | **内存占用** | 更小(仅 2 指针) | 类似 | | **数据耦合** | 无侵入式 | 通常需嵌入结构体 | | **多链表支持** | 通过指针关联,灵活 | 需预先定义嵌入节点 | | **内存管理** | 深度整合 Nginx 内存池 | 依赖外部分配机制 | --- ### 四、典型应用场景 1. **HTTP 请求处理链** 各处理阶段(如 `NGX_HTTP_SERVER_REWRITE_PHASE`)通过链表串联处理函数。 2. **事件定时器** 超时事件按时间排序存入红黑树,活跃事件通过队列管理。 3. **模块配置合并** 多个模块的配置指令通过链表合并(如 `listen` 指令的 `ngx_listening_t` 列表)。 --- ### 五、使用示例(伪代码) ```c // 定义业务数据结构 typedef struct { int id; ngx_queue_t link; // 链表节点 } ngx_custom_data_t; // 初始化链表 ngx_queue_t head; ngx_queue_init(&head); // 插入节点 ngx_custom_data_t *node = ngx_palloc(pool, sizeof(ngx_custom_data_t)); node->id = 100; ngx_queue_insert_tail(&head, &node->link); // 遍历链表 ngx_queue_t *q; for (q = ngx_queue_head(&head); q != ngx_queue_sentinel(&head); q = ngx_queue_next(q)) { ngx_custom_data_t *data = ngx_queue_data(q, ngx_custom_data_t, link); // 处理 data->id } ``` --- ### 总结 `ngx_queue_t` 是 Nginx 为高并发场景量身定制的双向链表,其**无侵入、低开销、内存池集成**的特性,使其在事件管理、请求处理等核心流程中成为高效的基础设施。与红黑树等结构配合,共同支撑 Nginx 的高性能架构。
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值