中文分词之候选集的选取

中文分词之候选集的选取

一、      基本思路：

·0. 之前讲到利用字典的分词，是因为字典的词组是有限的，单个的。但是候选词是可以由多个词组成。例如“Android/x  系统 /n  平台/n”，“蓝/n  牙/n”等。如果把这些词是连着出现在被爬虫爬下来的文章中，那么就很有必要把“Android系统 平台”，“蓝牙”作为整体的词语来理解了。即“把x n n”,”n n”组合在一起作为候选词，然后在后面会通过“候选集过滤”，“左右完整性分析”和“稳定性”来评估这个候选词是否有资格成为对象词。

1.   首先定义rule.txt，里面定义好抽取的规则

    n

n n