统计分词/无字典分词学习(3):分词效果评价和基线

在上一篇文章中，我们已经有了100万个候选词和其对应的词频，利用这些数据，我们已经可以进行分词了，就是利用前面分词介绍中的最大概率分词。

我们将标准词典分出来的词和利用这100万个词的候选词典，对同一个句子进行分词，然后比较两者的分词结果，就可以获得分词的准确率和覆盖率。

其中准确率就是候选词典分出来的词，在标准分词中出现的比例，而覆盖率，则是标准分词中在候选词典分词的结果中出现的比例。

如果使用top1500万的候选词，准确率33%，召回率25%。

top100万个候选词，分词的准确率为41%，召回率为34%。

top30万的，准确率42%，覆盖率38%.

        如果只要top10万的，则准确率40%，覆盖率38%。

可以看到，候选词如果太多，反而会影响分词效果，因为引入的噪声太多了。但如果候选词太少，从上一篇文章中的分析也可以看到，其覆盖的真实的词太少了，分词效果也会下降，而且给后续的优化留下的空间也少了。因此，选择top100万和top30万的两个片段数据集，作为后续的处理，是比较合适的。

具体几个例子：

标准分词：['this', 'is', 'a', 'test']

基于100万片段的分词：['thisis', 'atest']

标准分词：['when', 'in', 'the', 'course', 'of', 'human', 'events', 'it', 'becomes', 'necessary']

基于100万片段的分词：['when', 'inthecourseof', 'human', 'events', 'itbecomes', 'necessary']

可以看到，100万片段的分词，分词效果其实还行，主要问题就是把一些词的常用的组合给合并成一个词了，真正把一个词分隔开的，还不是很多，这样其实对句子的理解影响并不是很大。

至此，我们基本确定了评价统计分词的基本方法，和一个基线，也就是准确率为42%，召回率为38%。传到下一步的有两个数据集，一个是top100万的候选词，一个是top30万的候选词。我们就是要从这些词中把不是词的片段尽量过滤掉，然后进一步的提高分词的效果。