改进向量空间模型

 

声明：只是对向量空间模型的介绍（或者叫推广），并没有理论创新工作。

本人在之前的《向量空间模型(VSM)在文档相似度计算上的简单介绍》和《向量空间模型文档相似度计算实现（C#）》两篇文章中分别介绍了简单SVM模型及其实现。

本人使用简单词频（即词在当前文档中出现的次数）信息，实现了一个朴素版本的向量空间模型，效果尚可，但还是有很多可改进之处。

直接使用词的个数在比较词数很多和词数很少的文档时存在着问题。例如文档I中含有10000个词，而词a出现了10次；文档II中含有100个词，而a出现了5次。这样在相似度计算时，文档I中a对最后结果的影响比文档II中的a要大。这显然是不合理的，因为a只点文档I的0.1%而却占文档II的5%。为了解决这类问题，我们引入词频（TF）和反词频（IDF）两个概念。

其中TF = f/m，其中f表示当前词在当前文档中出现的次数，而m表示当前文档中出现次数最多的词的次数。这样TF值就在0和1之间。这样做可以减少文档中词的频率不合理分布所引起的误差。

IDF = log₂ (n/n_j) + 1，其中n表示在整个语料中文档的总数，而n_j表示含有当前词的文档数。这样做可以减少在语料范围内词频分布不均匀造成的相似度误差。

 

 

最后，将这两项相乘得到T = TF * IDF，用这个量替代《向量空间模型(VSM)在文档相似度计算上的简单介绍》中的简单词频，就可以得到实际应用中常用的向量空间模型了。

另外还对原向量空间模型的源代码进行了优化和改进（主要是空间换时间策略），可以从这里下载。