在分词器中涉及到一种数据结构,trie树。
trie树的作用
trie树的作用
又称单词查找树,Trie树,是一种树形结构,是一种哈希树的变种。典型应用是用于统计,排序和保存大量的字符串(但不仅限于字符串),所以经常被搜索引擎系统用于文本词频统计。它的优点是:利用字符串的公共前缀来减少查询时间,最大限度地减少无谓的字符串比较,查询效率比哈希树高。
trie树有几种实现方式,其中最简单的是数组结构。树中每个节点用一个固定大小的数组来表示,如果节点具有子节点,就在数组的相应位置插入子节点的指针。如下图
数组方式查询的速度很快,O(1)的时间复杂度,插入的速度也快,但是空间占用很大。如果是汉语这种“字母”较多的话,会有巨大的空间浪费。
如果用哈希表的方式来实现,就能规避掉这种空间浪费。
树的每个节点都用一个哈希表来表示,如果存在子节点,就会在相应的键对应的值上存储子节点的指针。
哈希表的方式,查询的速度接近O(1),插入也一样,但是空间浪费较小。
附上我写的哈希表方式实现trie树的go代码。
pa