C++ Trie树：cedar

最新推荐文章于 2024-09-10 09:11:48 发布
最新推荐文章于 2024-09-10 09:11:48 发布
阅读量928 收藏 3
点赞数 1
文章标签： c/c++ 数据结构与算法
原文链接：https://segmentfault.com/a/1190000004374433
版权

Trie树主要分为两类，一类是静态的，一次性构建，构建完成后只读，另一类是动态的，随时可以加入新的key。当然，对于动态构建，其写过程，是不一定保证线程安全的。
对于trie的详细分析，见这篇老外的文章：http://www.tkl.iis.u-tokyo.ac.jp/~ynaga/cedar/

性能分析

此部分内容为上边文章的摘要

因为大多数trie都是静态的，所以作者还加入了标准库的map等非trie的数据结构作为横向对比
静态的包括：

  • libdatrie 0.2.8: double-array trie

  • libtrie 0.1.1: double-array trie

  • dary 0.1.1: double-array trie

  • doar 0.0.13: double-array trie

  • Darts 0.32: double-array trie

  • Darts-clone 0.32g: directed acyclic word graph

  • Darts-clone 0.32e5: Compacted double-array trie

  • DASTrie 1.0: Compacted double-array trie

  • tx-trie* 0.18: LOUDS (Level-Order Unary Degree Sequence) trie

  • ux-trie* 0.1.9: LOUDS double-trie

  • marisa-trie* 0.2.4: LOUDS nested patricia trie

动态的包括

  • libdatrie 0.2.8: double-array trie

  • libtrie 0.1.1: double-array trie

  • dary 0.1.1: double-array trie

  • doar 0.0.13: double-array trie

  • critbit: crit-bit (patricia) tree [4]

  • libdict: splay tree [5], treap [6], skiplist [7]

  • C Containers library: scapegoat tree [8]

  • Andersson tree library: AA tree [9]

  • tst_vanilla: ternary search tree [10]

  • Judy Array 1.0.5: Judy trie SL [11]

  • hat-trie 0.1.0: HAT-trie [12]

  • array-hash Array Hash: (cache-conscious) hash table [13]

  • CMPH 2.0: hash table (w/ minimal perfect hash function [14])

  • std::map <std::string, int> (gcc 4.9.0): red-black tree

  • std::unordered_map <std::string, int> (gcc 4.9.0): hash table

  • cpp-btree 1.0.1: B-tree

  • sparsehash 2.0.2: hash table (sparsetable)

SoftwareData StructureSpace [MiB]Insert [ns/key]Lookup [ns/key]
cedarDouble-array trie1173.02631.0650.40
cedar ORDERED=falseDouble-array prefix trie671.66786.0249.99
libdatrie 0.2.8Double-array prefix trien/an/an/a
libtrie 0.1.1Double-array two-trie2756.308116.16185.85
daryDouble-array trie1119.041786.9379.96
doar 0.0.13Compacted double-array trie2285.2117687.6083.41
critbitCrit-bit (patricia) tree1457.021713.69752.49
libdictSplay tree1823.121541.48229.34
libdictTreap1823.131682.26902.43
libdictSkip list1852.861907.251265.79
Andersson tree libraryAA tree1457.022100.03337.14
C Containers libraryScapegoat tree1891.742380.65254.34
tst_vanillaternary search tree3318.751109.25129.12
Judy 1.0.5Judy trie SL897.59580.67142.64
hat-trie 0.1.0HAT-trie695.49916.0275.51
std::map Red-black tree2506.271617.60851.33
std::unordered_map Hash table2471.60615.30170.41
array hashArray Hash1725.5617273.22330.76
CMPH 2.0Hash table2741.032744.92285.11
cpp-btree 1.0.1B-tree1744.961749.961080.04
sparsetable 2.0.2Sparse hash table1685.412635.32157.63
sparsetable 2.0.2 (dense)Hash table2335.04502.66123.3

可以看出cedar在动态trie中有是有明显优势的，唯一的败像不太难看的是google的sparsetable，不过sparsetable是hash表，在查询和容量上都更差一些。同样的hash表的unordered map因为实现臃肿，速度更慢。

SoftwareData StructureSpace [MiB]Size [MiB]Build [ns/key]Lookup [ns/key]
cedarDouble-array trie832.82816.54183.5738.95
cedar ORDERED=falseDouble-array prefix trie490.59488.35221.8739.07
libdatrie 0.2.8Double-array prefix trie1229.12644.97209955.04124.66
libtrie 0.1.1Double-array two-trie2312.11654.395401.59181.95
daryDouble-array trie897.75895.5451144.9257.90
doar 0.0.13Compacted double-array trie1937.25334.59990.5148.00
Darts 0.32Double-array trie4306.02858.932387.8740.89
Darts-clone 0.32gDirected-acyclic word graph2311.39409.171339.1436.39
Darts-clone 0.32e5Compacted double-array trie2779.10309.311011.9259.42
DASTrie 1.0Compacted double-array trie2626.16383.3792634.8885.02
tx-trie 0.18LOUDS trie1791.10113.11626.90972.32
ux-trie 0.1.9LOUDS two-trie2223.8092.391229.111975.28
marisa-trie 0.2.4LOUDS nested patricia trie2036.4987.27698.76194.87

ceder是动态的，如果传入的key是有序的，会减少内部的操作，所以速度也会提高。静态trie中比较突出的是darts系列。但是cedar与其相比并不逊色，两者最终内存占用和查询速度相差无几，但是cedar的构建时间不到darts的1/5。并且，darts系的构建过程会耗费大量内存，即峰值内存是cedar的3倍以上。

综上，选择cedar作为trie是可行的。

使用

使用cedar十分简单，直接包含头文件即可。

template <typename value_type,
          const int     NO_VALUE  = nan<value_type>::N1,
          const int     NO_PATH   = nan<value_type>::N2,
          const bool    ORDERED   = true,
          const int     MAX_TRIAL = 1,
          const size_t  NUM_TRACKING_NODES = 0>
class da;

NO_VALUE的值是-1，NO_PATH的值是-2
因为其他的模版参数都有默认值，一般只特化value_type即可。

cedar::da<int> trie;
trie.update("hello", strlen("hello"), 1);

接口

cedar的接口如下，选择一些常用的进行介绍。需要说明的是原始代码中的很多参数有歧义性。这里我对参数名称进行了修改，更符合直观的含义。

template <...>
class da {
  size_t capacity() const;
  size_t size() const;
  size_t total_size() const;
  size_t unit_size() const;
  size_t nonzero_size() const; // warning: O(size)
  size_t num_keys() const; // warning: O(size)
  
  template <typename T>
  T exactMatchSearch(const char* key) const;
  template <typename T>
  T exactMatchSearch(const char* key, size_t len, size_t from=0) const;
  
  template <typename T>
  size_t commonPrefixSearch(const char* str, T* result, size_t result_len) const;
  template <typename T>
  size_t commonPrefixSearch(const char* str, T* result, size_t result_len, size_t len,
                            size_t from=0) const;
  
  template <typename T>
  size_t commonPrefixPredict(const char* str, T* result, size_t result_len);
  template <typename T>
  size_t commonPrefixPredict(const char* str, T* result, size_t result_len, size_t len,
                             size_t from = 0);
  
  void suffix(char* key, size_t len, size_t to) const;
  value_type traverse(const char* key, size_t& from, size_t& pos) const;
  value_type traverse(const char* key, size_t& from, size_t& pos, size_t end_pos) const;
  
  value_type& update(const char* key);
  value_type& update(const char* key, size_t len, value_type val=value_type(0));
  value_type& update(const char* key, size_t& from, size_t& pos, size_t len, 
                      value_type val=value_type(0));
  template <typename T>
  value_type& update(const char* key, size_t& from, size_t& pos, size_t len, 
                     value_type val, T& cf) 
  
  int erase(const char* key);
  int erase(const char* key, size_t len, size_t from = 0);
  void erase(size_t from);
  
  int build(size_t num, const char** key, const size_t* len = 0, const value_type* val = 0);
  
  template <typename T>
  void dump(T* result, const size_t result_len);
  
  int save(const char* fn, const char* mode = "wb") const;
  int open(const char* fn, const char* mode = "rb",
           const size_t offset = 0, size_t size_ = 0);
  
  void restore()
  void set_array(void* p, size_t size_ = 0);
  const void* array() const;
  void clear(const bool reuse = true);
  
  int begin(size_t& from, size_t& len);
  int next(size_t& from, size_t& len, const size_t root=0);
  
  void test(const size_t from=0) const;
};

update

value_type& update(const char* key);
// update(key, from=0, len=strlen(key), val=0)
value_type& update(const char* key, size_t len, value_type val=value_type(0));
// update(key, from=0, len, val)
value_type& update(const char* key, size_t& from, size_t& pos, size_t len, 
                   value_type val=value_type(0));

  1. 插入key，value为0

  2. 插入key的[0,len)子串

  3. 附加key的[pos,len)子串，到from对应的前缀后

关于from 表示附加到代表节点所对应的前缀后。例如，如果from==0，表示从root开始附加，即以子串作为key。如果from=1000表示的节点是abc，则插入的key是abc+子串。
关于val update的代码中，没有设置val的节点value为0，如果设置了节点则value += val。这样会有一个很致命的细节，如果多次更新同一个key，那么val值不是覆盖而是累加!这是一个很大的坑，一定要注意。

erase

int erase(const char* key);
int erase(const char* key, size_t len, size_t from = 0);
void erase(size_t from);

  1. 找到key对应的节点，并删除(清空value)

  2. 找到节点：以from为前缀，附加key的[0, len)子串的key对应的节点。并删除

  3. 删除节点

build

int build(size_t num, const char** key, const size_t* len=NULL,
          const value_type* val=NULL);

仿照darts的接口。num为数组的大小。key是cstr的数组。len是key对应的长度列表。val是key对应的值列表
关于排序 cedar是不需要死板的build的，这里只是为了兼容darts的接口，内层其实是循环调用update。所以key是不需要有序的。
关于val `build内层其实是循环调用update。于是，update中关于val的细节依然适用。如果有重复的key，那么val值不是覆盖而是累加

exactMatchSearch

template <typename T>
T exactMatchSearch(const char* key) const;
// exactMatchSearch(key, len=strlen(key), from=0);
template <typename T>
T exactMatchSearch(const char* key, size_t len, size_t from=0) const;

在内部查找中，无论是NO_PATH(N2)，还是NO_VALUE(N1)，都返回NO_VALUE(N1)。
这个和darts的行为是一致的。
需要注意的是，这个函数是模板函数，并且无法通过参数推算模版，所以必须显式的指定类型:exactMatchSearch<int>(...)

commonPrefixSearch

template <typename T>
size_t commonPrefixSearch(const char* str, T* result, size_t result_len) const;
// commonPrefixSearch(str, result, result_len, len=strlen(key), from=0);
template <typename T>
size_t commonPrefixSearch(const char* str, T* result, size_t result_len, size_t len,
                          size_t from=0) const;

返回的是恰好为str的前缀的key的集合。例如"helloworld" -> ["hell", "hello"]
返回的是找到的结果数，参数中的result_len是result的容量。如果有10个结果，但是result_len为5的话，只会写出5个结果，但是返回值是10

commonPrefixPredict

template <typename T>
size_t commonPrefixPredict(const char* str, T* result, size_t result_len);
// commonPrefixPredict(str, result, result_len, len=strlen(key), from=0);
template <typename T>
size_t commonPrefixPredict(const char* str, T* result, size_t result_len, size_t len,
                           size_t from = 0);

返回的以给定的str为前缀的key的集合。例如"he" -> ["hell", "hello", "help"]
返回的是找到的结果数，参数中的result_len是result的容量。如果有10个结果，但是result_len为5的话，只会写出5个结果，但是返回值是10

traverse

value_type traverse(const char* key, size_t& from, size_t& pos) const;
// traverse(key, form, pos, end_pos=strlen(key))
value_type traverse(const char* key, size_t& from, size_t& pos, size_t end_pos) const;

trie中最重要的函数，可以最灵活的查找trie
重点是依据返回值来判定traverse的结果
如果返回NO_VALUE(N1)，说明有key的前缀是当前[pos, end_pos)子串，但没有精确匹配。
如果返回NO_PATH(N2)，说明当前子串对应的路径在trie中不存在。
如果返回其他值，说明当前子串对应表示的key恰好在trie中。

weixin_34111819
关注
深入理解Trie树：高效文本搜索的实现与优化
一键难忘的博客
09-16 2349
Trie树（又称前缀树）是一种用于高效检索的树形数据结构，主要用于字符串处理。它常用于实现动态字典、自动补全、词频统计等功能。Trie树的主要特点是共享相同前缀的字符串路径，从而降低了空间复杂度和查询时间。在本篇文章中，我们将深入探讨Trie树的实现细节，并展示其在文本搜索中的应用，包括代码实例和详细解析。
Trie树（字典树）C++详解
m0_54615144的博客
10-05 795
字典树是一个用来快速查找和存储字符串集合的数据结构。
cedar:Cedar 实现了一个可更新的双数组 trie，它为现实世界数据中的倾斜查询提供了快速的更新查找
06-17
雪松 这是一个 C++ 实现的可高效更新的双数组 trie，由东京大学 IIS 丰田实验室 Kitsuregawa 的 Naoki Yoshinaga 开发。 如果您将雪松用于研究或商业目的，参考将是： N. Yoshinaga 和 M. Kitsuregawa。 用于高效文本流处理的自适应分类器。 过程2014 年、2014 年冷却。 执照 BSD（见许可证文件） 此外，原始代码也可在下面给出的网站位置根据 GPL/LGPL 条款获得。 作者 Naoki Yoshinaga at Kitsuregawa, Toyoda Lab., IIS, 东京大学 网站： :
cedar trie树的基本使用
tang05505622334的专栏
11-26 1921
安装： > wget http://www.tkl.iis.u-tokyo.ac.jp/~ynaga/cedar/cedar-latest.tar.gz > tar zxvf cedar-latest.tar.gz > cd cedar-YYYY-MM-DD > configure > make install 使用： #include cedar::da trie;
Hat-Trie：新一代字符串数据结构的高效探索
最新发布
gitblog_00902的博客
09-10 405
Hat-Trie：新一代字符串数据结构的高效探索 hat-trieAn efficient trie implementation.项目地址:https://gitcode.com/gh_mirrors/hat/hat-trie 在高速发展的软件工程领域，数据结构的选择往往决定了应用的性能命脉。今天，我们来探讨一个鲜为人知但极具潜力的技术宝藏——Hat-Trie，一款采用ANSI C99编写的...
Trie(前缀树)
sologala的博客
07-10 186
前缀树(字典树) ​ 通常我们使用 hash 来解决判断一个单词是否又出现，但是如果问题变成了判断一个单词的前缀(prefix) 是否又出现过，使用hash 就显得尤为棘手，要表示一个单词的prefix 显然我们应该想到树形结构。 ​ 如果我们把一些单词表现称为下列的形式： ​ 当我们需要找寻一个前缀的时候只需要从根节点开始向下查询，但是我们儿还是需要标记一下这个节点是否是一个单词，还是一个前...
一个二叉树构建相关的问题分析
点缀星辰
03-28 160
问题描述：     假设我们有一组排序的元素，希望通过他们来构建一棵平衡的二叉搜索树。那么该如何构建呢？   分析     这是一个比较有意思的问题。通过一些递归的手法可以做很好的实现。我们首先来看，如果要构建一棵平衡二叉树的话，我们理想的情况是相对于一个树的节点来说，它的两个子树的元素是一样多的。这样就从本质上保证他们可以达到平衡。     那么，如果我们现在从定义的角度更加深入一...
Trie树傻瓜式入门 + 板子+ 经典例题
nobleman
03-08 6041
前言，本人初学算法，很多东西学的很浅，具体原理请看各位大佬的blog，大佬勿喷 1、什么是Trie树 在计算机科学中，Trie树，称前缀树或字典树，是一种有序树，用于保存关联数组，其中的键通常是字符串。与二叉查找树不同，键不是直接保存在节点中，而是由节点在树中的位置决定。一个节点的所有子孙都有相同的前缀，也即是这个节点对应的字符串，而根节点对应空字符串。一般情况下，不是所有的的节点都有...
35丨Trie树：如何实现搜索引擎的搜索关键词提示功能？1
08-03
【Trie树】，又称字典树或前缀树，是一种高效处理字符串匹配的数据结构，常用于搜索引擎的搜索关键词提示功能。它的设计思路是利用字符串之间的公共前缀，将重复的前缀合并，以提高查找效率。在搜索引擎的场景中，...
C++ Trie树算法
struct_GS的博客
08-12 1357
什么是Trie树： 又称单词查找树，字典树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计，排序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是：利用字符串的公共前缀来减少查询时间，最大限度地减少无谓的字符串比较，查询效率比哈希树高。 至于Trie树长什么样子呢？ ...
C/C++ trie tree字典树算法详解及源码
希望我的博客，能帮上你解决学习中工作中所遇到的问题
06-20 2584
Trie树是一种树状结构，用于存储和查找一组字符串。每个节点代表一个字符，根节点是一个空节点。每个节点的子节点对应于一个字符，根据字符串的不同字符依次扩展。在每个节点，可能还会有一个值来表示该节点是一个完整的字符串。通过这种方式，Trie树可以高效地存储和查找大量的字符串。Trie树，也被称为字典树或前缀树，是一种非常用于字符串处理的数据结构。它的主要优点是高效的字符串查找和前缀匹配。下面将详细解释Trie树的原理和实现方式，并介绍它的优点和缺点。
hat-trie, 一种有效的trie实现.zip
10-10
hat-trie, 一种有效的trie实现 hat 这是Askitis和Sinha的hat trie数据结构的ANSI实现，它是一个非常高效的( 空间和时间) 现代变体。这里实现的版本将字节数组映射到单词( 。例如，无符号的longs )，它可以以用来存储计数。指针等。有
cpp-C实现快速和高效的HATtrie
08-16
C 实现快速和高效的HAT-trie
字典树算法（C/C++）
gaoqiandr的博客
06-04 1448
本文主要介绍的是字典树算法，并且用C/C++来实现，简单易懂
C++ 字典树详解(含例题)
jerry20183的博客
02-03 4404
C++ 字典树详解(含例题) 字典树的定义 顾名思义，就是一个像字典一样的树，谢谢观看 我们想要熟练的运用字典树，首先肯定要知道什么样的结构才会被称之为字典树吧。 字典树是一种树形结构，典型应用是用于统计，排序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是：利用字符串的公共前缀来减少查询时间，最大限度地减少无谓的字符串比较———百度百科 从上面的百度百科的一段定义中，我们知道了字典树是：利用字符串的公共前缀来减少复杂度；用于统计，排序和保存大量字符串的数据结构
【C++算法模板】字典树，超详细注释带例题讲解
qq_63586399的博客
03-14 823
字典树是快速插入和查询字符串的多叉树结构，根节点编号为0，其余节点标识路径，还可以标记单词插入的次数，边表示字符。
C++实现字典树
L.Wzz的博客
09-26 942
字典树，是一种空间换时间的数据结构，又称Trie树、前缀树。其优点在于利用字符串的公共前缀来减少查询时间，最大限度地减少无谓的字符串比较，查询效率比哈希树高。其特点主要有以下三点：1：根节点不包含字符，除了根节点每个节点都只包含一个字符。root节点不含字符这样做的目的是为了能够包括所有字符串。2：从根节点到某一个节点，路过字符串起来就是该节点对应的字符串。3：每个节点的子节点字符不同，也就是找到对应单词、字符是唯一的。
探索高效字典管理新境界：Darts-clone深度解析与推荐
gitblog_00027的博客
06-15 331
探索高效字典管理新境界：Darts-clone深度解析与推荐 darts-clone A clone of Darts (Double-ARray Trie System) 项目地址: https://gitcode.com/gh_mirrors/da/darts...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值