短文本评分方法 (Short Text Scoring Method)
此方法是基于改进后的RAKE算法并结合word2vector,对短文本内容进行评分的一种方法。
RAKE的改进
原RAKE算法对划分后的短语打分机制存在一点问题,短语的长度对短语的得分影响大。也就是说,如果一个不重要的短语,但是它足够长,这个短语的分数就会高。这一点是存在较大问题的,针对这一点,对RAKE进行了以下改进。
- 一个短语的长度如果超过3,按照3计算;
- word_degree[word] += 1 / (word_list_length * 1.0),这一点改进主要意图还是减少短语长度对单个词得分的影响,所以将原来的 word_degree[word] += word_list_degree 改为上式,这样单个词得分只会因短语长度而缓慢增加;
- word_degree[item] = word_degree[item] 取消单个词频率的影响,提出一些不重要且重复的词对单词得分的影响。
以上3点是对RAKE的改进措施,这样做会让单个词得分更加合理。
word2vector模型
对于word2vector模型来说,目前采用的语料库是Wikipedia,但是Wikipedia原始语料有60G,需要将短文本所属类型的语料从Wikipedia中提取出来才能进行训练。以下是提取步骤(以technology类型为例):