菜鸟nginx源码剖析数据结构篇（五） 基数树 ngx_radix_tree_t

最新推荐文章于 2025-09-11 11:31:26 发布
原创 最新推荐文章于 2025-09-11 11:31:26 发布 · 1.1w 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#基数树 #nginx #剖析 #源码 #radix_tree

本文是菜鸟系列关于nginx源码剖析的第五篇，主要聚焦于基数树（ngx_radix_tree_t）的数据结构分析，揭示其在nginx中的作用和实现原理。

 

菜鸟nginx源码剖析数据结构篇（五） 基数树 ngx_radix_tree_t

 

  • Author：Echo Chen（陈斌）

  • Email：chenb19870707@gmail.com

  • Blog：Blog.csdn.net/chen19870707

  • Date：October 28h, 2014

     

    1.什么是基数树

    基数树(radix tree)是一种不怎么常见的数据结构，这里简单的做一下介绍：在计算机科学中，基数树，是一种基于trie（字典树）的特殊的数据结构，可以快速定位叶子结点。radix tree是一种多叉搜索树，每个结点有固定的孩子数（叉数 为2^n）。

    如下图radix树的分叉为4，树的高度为4，共有4*4*4*4 = 256 个叶子结点，可以快速定位256个结点。

    2.ngx_radix_tree_t

    ngx_radix_tree 是一种二叉查找树，即叉数为2，它要求存储的每个节点必须以32位整型作为任意两节点的唯一标识，ngx_radix_tree 具备二叉查找树所有优点，并且不用像红黑树通过自身旋转达到平衡，基数树不用管树的形态是否平衡。也因此，它在插入节点、删除节点的速度会比红黑树快的多。

     

    基数树可以不管树平衡的原因在于：红黑树是通过不同节点key关键字的比较决定树的形态，而基数树的每个节点的key关键字自身已经决定了其在树中的位置。先将节点的key关键字转化为二进制，32位，从左至右开始，遇0入左子树，遇1入右子树。

     

    ngx_radix_tree_t树的最大深度为32，由于一般用不到这样的深度，所以引入了掩码，掩码中的1的个数就表示树的高度，掩码1110 0000 0000 0000 0000 0000 0000 0000 ，表示树的高度为3。

     

    eg：如果此时一个节点的key关键字为0x20000000，根据掩码决定取其转化为二进制后的前3位为010，因此，该节点的位置是，根节点-->左子树-->右子树-->左子树。用下图至关表示下：


    image

    3.源代码位置

     

    头文件：http://trac.nginx.org/nginx/browser/nginx/src/core/ngx_radix_tree.h

    源文件：http://trac.nginx.org/nginx/browser/nginx/src/core/ngx_radix_tree.c

     

    4.数据结构定义

     

    结点中left和right分别指向左右孩子，parent指向父亲结点，value为指向用户自定义的数据的指针。

       1: typedef struct ngx_radix_node_s  ngx_radix_node_t;
       2:  
       3: struct ngx_radix_node_s {
     
     
       4:     ngx_radix_node_t  *right;
       5:     ngx_radix_node_t  *left;
       6:     ngx_radix_node_t  *parent;
       7:     uintptr_t          value;
       8: };

     

    与红黑树不同的是，radix_tree自己管理内存，pool为内存池对象，root为根节点，free管理已经分配但暂未使用的节点，free实际上是所有不在树中结点的单链表。start为已分配内存中未使用内存的首地址，size为已分配内存还未使用内存的大小。

     

       1: typedef struct {
     
     
       2:     ngx_radix_node_t  *root;
       3:     ngx_pool_t        *pool;
       4:     ngx_radix_node_t  *free;
       5:     char              *start;
       6:     size_t             size;
       7: } ngx_radix_tree_t;

    5.基数树的创建ngx_radix_tree_create

     

    基数树的构造流程为首先创建 基数树结构 ngx_radix_tree_t ，然后创建 基数树的 root结点，然后根据传入的preallacate参数来决定预分配结点的个数，如果传入-1 ，即按照页面大小决定预分配结点个数，然后就一次插入这些结点。源代码加注释如下：

     

       1: //poll为内存池指针，preallocate是预分配基数树的节点数目，如果传-1，那么将会根据当前系统一个页的大小来预分配基数树结点
       2: ngx_radix_tree_t *ngx_radix_tree_create(ngx_pool_t *pool, ngx_int_t preallocate)
       3: {
     
     
       4:     uint32_t           key, mask, inc;
       5:     ngx_radix_tree_t  *tree;
       6:  
       7:     //分配ngx_radix_tree_t
       8:     tree = ngx_palloc(pool, sizeof(ngx_radix_tree_t));
       9:     if (tree == NULL) {
     
     
      10:         return NULL;
      11:     }
      12:  
      13:     tree->pool = pool;
      14:     tree->free = NULL;
      15:     tree->start = NULL;
      16:     tree->size = 0;
      17:  
      18:     //分配根节点
      19:     tree->root = ngx_radix_alloc(tree);
      20:     if (tree->root == NULL) {
     
     
      21:         return NULL;
      22:     }
      23:  
      24:     tree->root->right = NULL;
      25:     tree->root->left = NULL;
      26:     tree->root->parent = NULL;
      27:     tree->root->value = NGX_RADIX_NO_VALUE;
      28:  
      29:     //如果需要的预分配结点为0个，完成返回
      30:     if (preallocate == 0) {
     
     
      31:         return tree;
      32:     }
      33:  
      34:     /*
      35:      * Preallocation of first nodes : 0, 1, 00, 01, 10, 11, 000, 001, etc.
      36:      * increases TLB hits even if for first lookup iterations.
      37:      * On 32-bit platforms the 7 preallocated bits takes continuous 4K,
      38:      * 8 - 8K, 9 - 16K, etc.  On 64-bit platforms the 6 preallocated bits
      39:      * takes continuous 4K, 7 - 8K, 8 - 16K, etc.  There is no sense to
      40:      * to preallocate more than one page, becau
最低0.47元/天 解锁文章
【Nginx学习】5招搞定：Nginx ngx_radix_tree_t 基数树的使用方法
java专栏
11-09 1036
Nginx 中的// 根节点// 空闲节点链表头// 节点数组// 最大层数// 每个节点的长度root：指向基数树的根节点。free：空闲节点链表头，用于管理空闲节点。nodes：节点数组，用于存储所有节点。maxlevel：基数树的最大层数。nodelen：每个节点的长度。每个节点（// 节点索引// 节点值// 左子节点// 右子节点// 父节点idx：节点索引，用于标识节点的位置。value：节点值，可以存储任意类型的数据。left：左子节点。right。
【Nginx学习】7步轻松掌握：Nginx `ngx_radix_tree_t` 基数树的原理与应用
java专栏
11-09 1058
Nginx 中的// 根节点// 空闲节点链表头// 节点数组// 最大层数// 每个节点的长度root：指向基数树的根节点。free：空闲节点链表头，用于管理空闲节点。nodes：节点数组，用于存储所有节点。maxlevel：基数树的最大层数。nodelen：每个节点的长度。每个节点（// 节点索引// 节点值// 左子节点// 右子节点// 父节点idx：节点索引，用于标识节点的位置。value：节点值，可以存储任意类型的数据。left：左子节点。right。
菜鸟nginx源码剖析 配置与部署篇（一） 手把手实现nginx "I love you"
@Echo· 个人技术笔记
11-08 5386
还记得在前几年的CSDN泄漏账号事件中，统计发现程序员的账号中含有love的最多，这里我也俗套下，在这篇文章中将讲解如何 一步一步实用Nginx在一台机器上搭建一个最简单的显示“I love you”的Web服务器，大家一起动手尝试吧。
数据结构之基数树（radix_tree）
永远积极向上、永远热泪盈眶、永远豪情满怀、永远坦坦荡荡
04-04 4047
数据结构之基数树（radix_tree）基数树（radix_tree）一，基数树数据的结构的介绍二， 基数树应用场景介绍三，基数树实现总结： 基数树（radix_tree） 基数树数据结构是在字典树（trie_tree）的原理上优化过来的， 是更加合理的使用内存和查询的效率。 一，基数树数据的结构的介绍 基数树数据结构 二， 基数树应用场景介绍 三，基数树实现 总结： ...
基数树简介
Dablelv 的博客专栏。
03-31 1987
基数树（Radix Trie）也叫基数特里树或压缩前缀树，是一种多叉树，一种更节省空间的 Trie（前缀树）。基数树中作为唯一子结点的每个结点都与其父结点合并，每个内部结点的子结点数最多为基数树的基数 r，r 为正整数且等于2^n(n>=1)。这使得基数树更适用于对于较小的集合（尤其是字符串很长的情况下）和有很长相同前缀的字符串集合。不像一般的 Trie，基数树的边可以是一个或者多个元素。
【nginx源码学习与运用 七】基数树结构ngx_radix_tree_t
图像、视频、算法、Linux
12-12 1572
【nginx源码学习与运用】系列博客中的示例代码在csdn的代码托管服务器CODE上，地址https://code.csdn.net/u012819339/nginx_study ，你可以将其自由的下载到本地，或者通过Git来实时获取更新nginx提供了基数树结构，该结构比较简单，所以本篇博客也会比较简单。相关结构struct ngx_radix_node_s { ngx_radix_nod
菜鸟nginx源代码剖析 框架篇（一） 从main函数看nginx启动流程
katerdaisy的博客
08-16 543
ngx_conf_t中的module_type和cmd_type用于控制解析什么类型的指令，module_type表示仅仅解析该类型模块包括的指令，cmd_type表示将要解析的指令的类型。比方module_type取NGX_HTTP_MODULE，而cmd_type取NGX_HTTP_SRV_CONF，那么在一次配置文件解析中。在全部core module中，仅仅有ngx_core_module有init_conf回调，用于对ngx_core_conf_t中没有配置的字段设置默认值。13）解析配置文件。
菜鸟nginx源码剖析数据结构篇（八） 缓冲区链表ngx_chain_t
@Echo· 个人技术笔记
11-06 1万+
nginx 缓冲区链表的源码剖析
菜鸟nginx源码剖析数据结构篇（四）红黑树ngx_rbtree_t
@Echo· 个人技术笔记
10-27 1万+
ngx_rbtree是一种使用红黑树实现的关联容器，关于红黑树的特性，在《手把手实现红黑树》已经详细介绍，这里就只探讨ngx_rbtree与众不同的地方；ngx_rbtree红黑树容器中的元素都是有序的，支持快速索引，插入，删除操作，也支持范围查询，遍历操作，应用非常广泛。
菜鸟nginx源码剖析数据结构篇（九） 内存池ngx_pool_t
梦想专栏
10-10 572
菜鸟nginx源码剖析数据结构篇（九） 内存池ngx_pool_t   Author：Echo Chen（陈斌） Email：chenb19870707@gmail.com Blog：Blog.csdn.net/chen19870707 Date：Nov 11th, 2014 今天是一年一度的光棍节，还没有女朋友的程序猿童鞋不妨new一个出来
nginx学习笔记(5)：高级数据结构ngx_rbtree_t
li27z的博客
03-12 1053
nginx高级数据结构ngx_rbtree_t
nginx源码剖析(三) —— ngx_queue_t分析
12-05 664
前言 由于之前一直使用的是nginx的1.6.2的版本，所以就以它作为研究对象进行分析，源码没有注释，这里我使用我之前加过注释的文件进行分析。这两个文件是在nginx-1.6.2/src/core的ngx_queue.h和ngx_queue.c文件。 正文 它的源码是通过带控制信息的双端链表实现的，以及它的具体操作是通过一些宏函数实现的。接下来我们一点点分析它的ngx_queue
基数树(radix tree)
weixin_36145588的博客
10-27 7770
作用 基数树（radix tree）是将long整数与指针键值相关联的机制，它存储有效率，并且可快速查询，用于整数值与指针的映射，对于长整型数据的映射，如何解决Hash冲突和Hash表大小的设计是一个很头疼的问题，利用radix树可以根据一个长整型（比如一个长ID）快速查找到其对应的对象指针。这比用hash映射来的简单，也更节省空间，使用hash映射hash函数难以设计，不恰当的hash函数可能增大
图解基数树(RadixTree)
qq_41583040的博客
04-27 1979
基数树（RadixTree），是一种比较有趣的数据结构，最近需要一种比较高效的查找，两度遇到了基数树，便整理下来给有相关需求的伙伴提供一种思路。
基数树（Radix Tree）
xy2006860的专栏
08-02 1414
基数树（Radix Tree），也称为紧凑前缀树（Compact Prefix Tree）或 Patricia 树（Patricia Tree），是一种用于存储和检索字符串键值的数据结构。基数树与Trie树（前缀树）类似，但通过压缩公共前缀来减少节点的数量，从而节省存储空间。基数树非常适合用于查找具有公共前缀的字符串。
查找——图文翔解RadixTree（基数树）
热门推荐
菜鸟的自留地-mooyang
06-08 3万+
基数树 对于长整型数据的映射，如何解决Hash冲突和Hash表大小的设计是一个很头疼的问题。 radix树就是针对这种稀疏的长整型数据查找，能快速且节省空间地完成映射。借助于Radix树，我们可以实现对于长整型数据类型的路由。利用radix树可以根据一个长整型（比如一个长ID）快速查找到其对应的对象指针。这比用hash映射来的简单，也更节省空间，使用hash映射hash函数难以设计
查找树--RadixTree【基数树】原理图解及示例代码
penriver的博客
11-01 5906
基数树 概念 RadixTree：基数树，或称压缩前缀树，是一种更节省空间的Trie。 基数树是Trie的压缩版本【compact version】。 在空间利用上更有效 Trie因为通常在一条边中只存储1个字符，所以空间利用效率低下。 基数树利用了这一点，将在边中存储多个字符/文本字符串，以减少所需的额外边和节点的数量，同时仍然保持相同的表示意义和Trie的性能。 在最坏的情况下一个基数树将是一个Trie。 基数树示例如下： 树操作 插入过程 注意：如果插入的字符串和已经有边有共同的前缀，则需
深入浅出地讲解基数树（Radix Tree）
最新发布
u011091936的博客
09-11 1092
基数树是一种在特定场景下极其高效的数据结构。它通过路径压缩的思想，以增加实现的复杂度为代价，换取了显著的空间优化。当你处理大量具有共同前缀的字符串数据，并且对内存占用非常敏感时（如网络路由、内核级数据结构），基数树是一个非常值得考虑的强大工具。
中南月赛F ZZY and his little friends
weixin_33862188的博客
10-02 221
Problem F: ZZY and his little friends Time Limit: 5 SecMemory Limit: 256 MBSubmit: 137Solved: 70[Submit][Status][Web Board] Description zzy养了一只小怪兽和N只凹凸曼，单挑的话每只凹凸曼都不是小怪兽的对手，所以必须由两只凹凸曼合作来和小...
nginx的高级数据结构 比如 ngx_queue_t 有什么用
03-26
<think>嗯，用户现在问的是Nginx的高级数据结构，特别是ngx_queue_t的用途。之前用户已经询问过关于request_pool_size销毁的原因，可能现在想深入了解Nginx内部的实现机制。我需要先回忆一下ngx_queue_t的相关知识。 首先，ngx_queue_t是Nginx中一个双向链表的实现。用户可能想知道为什么Nginx要自己实现这样的数据结构，而不是使用C语言标准库里的结构。这可能涉及到性能优化、内存管理或者跨平台兼容性的问题。 接着，用户可能对具体的使用场景感兴趣。比如在HTTP模块中，Nginx如何处理请求，哪些部分会用到这种链表结构。需要举一些例子，比如维护定时事件、管理HTTP请求等，说明ngx_queue_t的实际应用。 另外，用户可能想了解这种数据结构的特点，比如轻量级、不侵入数据结构的实现方式。需要解释侵入式和非侵入式链表的区别，以及为什么Nginx选择这种方式。可能还要提到内存管理的优势，比如内存池的配合使用，减少内存碎片。 还要考虑用户可能的疑问，比如与其他数据结构如红黑树的区别。这时候需要指出链表和树的不同应用场景，比如链表适合频繁插入删除，而红黑树适合快速查找。说明Nginx如何根据不同的需求选择不同的数据结构。 另外，用户可能对如何在自己的模块中使用ngx_queue_t感兴趣，可能需要简单的代码示例，但用户问题中没有明确要求，所以可能不需要详细代码，但可以简要说明其使用方式，比如初始化、插入节点等步骤。 最后，总结ngx_queue_t的优势，比如高效、灵活、节省内存，以及为什么在Nginx中这样的设计是合理的，适合高并发场景的需求。同时确保回答结构清晰，符合之前用户要求的层次分明的格式，比如分点说明用途、设计特点、优势比较等。</think>Nginx 内部设计了许多高效的自定义数据结构以适配高并发场景，`ngx_queue_t` 是其中一种双向链表的实现，其核心价值在于**轻量级、无侵入、内存友好**的设计。以下是其关键用途与设计逻辑： --- ### 一、`ngx_queue_t` 的核心用途 1. **轻量级链表操作** - 用于需要频繁插入、删除但无需复杂查找的场景（如定时器事件管理、HTTP 请求阶段处理器链）。 - 示例： - 维护超时事件（`ngx_event_timer_rbtree` 结合红黑树和队列管理）。 - HTTP 请求处理阶段（`phase_engine` 中按顺序调用各阶段处理函数）。 2. **无侵入式设计** - 链表节点（`ngx_queue_t`）**不嵌入业务数据结构**，而是通过指针关联，避免强制耦合。 例如： ```c typedef struct { ngx_queue_t queue; // 链表节点 void *data; // 实际业务数据指针 } ngx_custom_node_t; ``` - 优势：同一业务结构可同时加入多个链表，灵活性高。 3. **内存池友好** - 节点内存通常从 Nginx 的 `ngx_pool_t` 内存池分配，生命周期与请求或连接绑定，避免内存泄漏。 --- ### 二、`ngx_queue_t` 的设计特点 1. **极简结构体** 仅包含前驱（`prev`）和后继（`next`）指针，无额外开销： ```c typedef struct ngx_queue_s ngx_queue_t; struct ngx_queue_s { ngx_queue_t *prev; ngx_queue_t *next; }; ``` 2. **高效操作宏** 提供宏直接操作链表，避免函数调用开销（如 `ngx_queue_insert_head`、`ngx_queue_remove`）。 3. **与红黑树互补** - **`ngx_queue_t`**：适合顺序遍历或频繁增删。 - **`ngx_rbtree_t`**：适合快速查找（如定时器、共享内存键值存储）。 - 两者常结合使用（例如定时器用红黑树管理超时时间，用队列维护活跃事件）。 --- ### 三、对比传统链表的优势 | 特性 | `ngx_queue_t` | 传统链表（如 Linux 内核 `list_head`） | |---------------------|--------------------------------|--------------------------------------| | **内存占用** | 更小（仅 2 指针） | 类似 | | **数据耦合** | 无侵入式 | 通常需嵌入结构体 | | **多链表支持** | 通过指针关联，灵活 | 需预先定义嵌入节点 | | **内存管理** | 深度整合 Nginx 内存池 | 依赖外部分配机制 | --- ### 四、典型应用场景 1. **HTTP 请求处理链** 各处理阶段（如 `NGX_HTTP_SERVER_REWRITE_PHASE`）通过链表串联处理函数。 2. **事件定时器** 超时事件按时间排序存入红黑树，活跃事件通过队列管理。 3. **模块配置合并** 多个模块的配置指令通过链表合并（如 `listen` 指令的 `ngx_listening_t` 列表）。 --- ### 五、使用示例（伪代码） ```c // 定义业务数据结构 typedef struct { int id; ngx_queue_t link; // 链表节点 } ngx_custom_data_t; // 初始化链表 ngx_queue_t head; ngx_queue_init(&head); // 插入节点 ngx_custom_data_t *node = ngx_palloc(pool, sizeof(ngx_custom_data_t)); node->id = 100; ngx_queue_insert_tail(&head, &node->link); // 遍历链表 ngx_queue_t *q; for (q = ngx_queue_head(&head); q != ngx_queue_sentinel(&head); q = ngx_queue_next(q)) { ngx_custom_data_t *data = ngx_queue_data(q, ngx_custom_data_t, link); // 处理 data->id } ``` --- ### 总结 `ngx_queue_t` 是 Nginx 为高并发场景量身定制的双向链表，其**无侵入、低开销、内存池集成**的特性，使其在事件管理、请求处理等核心流程中成为高效的基础设施。与红黑树等结构配合，共同支撑 Nginx 的高性能架构。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值