前言:在数据挖掘领域,.NET基本上是空白,除了分词程序外,啥都没有,大量的招聘显示数据挖掘目前是Java, C++和Python的天下。作为微软阵营的一份子,我始终认为我们不该坐以待毙,与其坐着被人看笑话,还不如勇敢的站出来,创造一个崭新的.NET未来。(话说昨天的吐槽贴不知道大家玩的尽兴不尽兴,不是有人让我给点实战的玩意来证明.NET的牛X嘛,没问题啊,我如约而至。)
Trie Tree(字典树)对很多人显得有些陌生,用一句话来概括,它可以有效加速字符串匹配速度,并且应用极其广泛,如分词、搜索、脏字过滤等。曾经写过一篇介绍TrieTree的文章,不熟悉的同学可以看一下《Trie Tree介绍及其C#实现》。
TrieTree之所以快速,和它树形存储结构很有关系,由于所有的查找都是走结点的,所以速度会比普通字符串匹配快很多,传统匹配的问题在于即使匹配不成功,每次还是要去匹配前面这些字符,而且要与每一个字典项去匹配。
举个简单的例子,假设字典里面有两句整句,如“这里是我们的地盘”,“这里是你们的”,假设我现在要匹配
“这里是他们的”,传统存储会把字典保存在List中,但这就意味着,“这里是”三个字每次都要匹配一遍,即使最终结果是没找到“这里是他们的”。但如果是TrieTree结构,我们只需要匹配一次“这里是”就能知道存不存在,随着字典中词数的增加,这种性能提升愈加明显。
这么好的东西怎么能没有一个通用的框架,于是我便考虑设计了TrieTree Service。TrieTree Service是一个基于Window