TreeTagger

大家都知道TreeTagger是一个用于词性标注和词型还原的工具，它的返回结果由三部分组成：目标词汇，词性，原形。那该工具是怎样判断目标词汇的词性的呢？又是怎样得到目标词汇的原形的呢？本文就是从这两个问题入手，对TreeTagger的原理进行简单的介绍。

1. 词性的识别判断

这里词性的识别采用的决策树分类方法。如下图所示，首先将目标文本分成三元短语，然后通过判断目标词汇的前两个单词的词性来判断当前词汇的词性，具体思路下图所示：当前一个词的词性为ADJ时，判断前面倒数第二个词的词性，当词性为DET时，我们就可以得出结论：当前词汇的词性70%的可能性是NN，10%的可能性是ADJ。

那具体这棵树是如何构建的呢？

1）从当前词出发，判断其前面第一个相邻词汇的所有可能词性标记，选择特征性最明显的词性标记，将当前节点分成yes, 和no 两个子树。判断特征性明显的公式如下：

这里的C为当前节点的上下文，C+为测试q成功的情况， C-为对应的测试q失败的情况，