Sogou的语料库的问题

最近在训练HMM模型的时候，发现一句话的结果很奇怪，原文“据北京中原地产...”。可是我的模型输出结果是“聚北京中原....”。程序写错了？ 不应该呀，模型调试过好多次应该没有这么严重的问题呀。

 

于是开始从数据下手，发现二元的“聚北”和三元的“聚北京”出现次数异常的高，远远超过“据北京”的频率，这样导致最终的模型计算概率的结果出现问题。再返回到最原始的抽取数据去看看到底什么内容是“聚北京”呢。于是从500多GB的原始数据里去grep，发现一句话“>>全球顶尖保镖将齐聚北京WS”出现次数异常高，还有就是“>>盖茨举家看奥运众富豪聚北京<<”，这两句话几乎每个统计文件里出现的次数都达到数千次。

 

这也许就是从互联网统计数据的一个问题，有时候一个比较热门的新闻被转载太多次数，导致某些关键字的统计结果出现问题。