LSA是1988年S.T. Dumais等提出的一种新的信息检索模型,它使用统计计算的方法对大量的文本集进行分析,提取出词与词之间潜在的语义结构,并用这种潜在的语义结构表示词和文本,达到消除词之间的相关性和简化文本向量实现降维的目的。
使用LSA可以部分解决一义多词(北京大学vs北大、电影vsmovie),但它是怎么解决一义多词的呢?LSA把高维向量空间模型表示中的文档映射到低维潜在语义空间中,在潜在语义空间计算相似性,这个映射通过对词项-文档矩阵SVD分解来实现。
LSA的基础是:向量空间模型 + 矩阵,介绍LSA之前先简单介绍下向量空间模型和矩阵的相关知识。
1.向量空间
在向量空间模型中,一篇文档可以表示为一个向量,其中每个分量对应一个词项,分量的值是词项在文档中出现的频率或者其它改进后的词项权值。
N篇文档组成的集合可以表示称为一个M*N 的矩阵,称作词项-文档矩阵,的行对应词项,列对应文档。具体如下:
在向量空间模型,通过计算向量间的相似度来衡量两个文档之间的相关性,常用的相似度计算方法为余弦相似度、欧氏距离、杰卡德相似系数、皮尔逊系数等。本文采用余玄相似度,计算公式如下:
如果我们想计算d2和d3的相似度,根据上面公式可得出:
直观上计算出的相似度为0,是否合理呢?答案是不合理,因为shi