怎样实现基于Trie树和字典的分词功能

前言

目前做分词比较流行的是用深度学习来做，比如用循环神经网络和条件随机场，也有直接用条件随机场或隐马尔科夫模型的。前面也实现过上面几种，效果挺不错，基于隐马尔科夫模型的差一点，条件随机场的效果较好，而加入深度学习的效果最好。

而最最传统的分词做法很多都是基于字典的，然后通过最大匹配法匹配，效果比较一般。效果虽然一般，但我们还是看下怎么实现的吧。

Trie树结构

Trie 是一种搜索树，它的 key 都为字符串，通过 key 可以找到 value。能做到高效查询和插入，时间复杂度为O(k)，缺点是耗内存。它的核心思想就是减少没必要的字符比较，使查询高效率，即用空间换时间，再利用共同前缀来提高查询效率。

Trie树的根节点不包含字符，根节点到某节点的路径连起来的字符串为该节点对应的字符串，每个节点只包含一个字符，此外，任意节点的所有子节点的字符都不相同。

比如如下，将五个词语添加到Trie树中，最后的结构如图所示。

TrieTree tree = new TrieTree();
tree.put("美利坚");
tree.put("美丽")