本文探讨了trie树在中文分词基础中的应用，重点分析了使用数组和哈希表两种实现方式的优缺点。数组方式提供O(1)的查询和插入速度，但可能导致空间浪费，尤其在处理汉字时。而哈希表方式能有效减少空间浪费，查询和插入速度也接近O(1)。文中还分享了一段使用Go语言实现的哈希表版trie树代码。
在分词器中涉及到一种数据结构，trie树。
trie树的作用
trie树的作用
又称单词查找树，Trie树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计，排序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是：利用字符串的公共前缀来减少查询时间，最大限度地减少无谓的字符串比较，查询效率比哈希树高。
trie树有几种实现方式，其中最简单的是数组结构。树中每个节点用一个固定大小的数组来表示，如果节点具有子节点，就在数组的相应位置插入子节点的指针。如下图
数组方式查询的速度很快，O(1)的时间复杂度，插入的速度也快，但是空间占用很大。如果是汉语这种“字母”较多的话，会有巨大的空间浪费。
如果用哈希表的方式来实现，就能规避掉这种空间浪费。
树的每个节点都用一个哈希表来表示，如果存在子节点，就会在相应的键对应的值上存储子节点的指针。
哈希表的方式，查询的速度接近O(1)，插入也一样，但是空间浪费较小。
附上我写的哈希表方式实现trie树的go代码。
pa
最低0.47元/天 解锁文章
扫一扫
151
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
