短文本评分方法 （Short Text Scoring Method）

短文本评分方法 （Short Text Scoring Method）

此方法是基于改进后的RAKE算法并结合word2vector，对短文本内容进行评分的一种方法。

RAKE的改进

原RAKE算法对划分后的短语打分机制存在一点问题，短语的长度对短语的得分影响大。也就是说，如果一个不重要的短语，但是它足够长，这个短语的分数就会高。这一点是存在较大问题的，针对这一点，对RAKE进行了以下改进。

1. 一个短语的长度如果超过3，按照3计算；
2. word_degree[word] += 1 / (word_list_length * 1.0)，这一点改进主要意图还是减少短语长度对单个词得分的影响，所以将原来的 word_degree[word] += word_list_degree 改为上式，这样单个词得分只会因短语长度而缓慢增加；
3. word_degree[item] = word_degree[item] 取消单个词频率的影响，提出一些不重要且重复的词对单词得分的影响。

以上3点是对RAKE的改进措施，这样做会让单个词得分更加合理。

word2vector模型

对于word2vector模型来说，目前采用的语料库是Wikipedia，但是Wikipedia原始语料有60G，需要将短文本所属类型的语料从Wikipedia中提取出来才能进行训练。以下是提取步骤(以technology类型为例)：