一、潜在语义索引(Latent Semantic Indexing,以下简称LSI)
(一)简介
有的文章也叫Latent Semantic Analysis(LSA)。在这里我称做LSI,它是一种简单实用的主题模型,也是最早出现的主题模型了,它的算法原理很简单,是基于奇异值分解(SVD)的方法来得到文本的主题的。一次奇异值分解就可以得到主题模型,同时解决词义的问题,非常漂亮。但是LSI有很多不足,导致它在当前实际的主题模型中已基本不再使用。
(二)应用
得出文本的主题模型;
通过LSI得到的文本主题矩阵可以用于文本相似度计算,而计算方法一般是通过余弦相似度;
(三)存在的问题
1) SVD计算非常的耗时,尤其是我们的文本处理,词和文本数都是非常大的,对于这样的高维度矩阵做奇异值分解是非常难的。
2) 主题值的选取对结果的影响非常大,很难选择合适的k值。
3) LSI得到的不是一个概率模型,缺乏统计基础,结果难以直观的解释。
二、SVD(奇异值分解)
(一)什么是奇异值
奇异值是矩阵里的概念,一般通过奇异值分解定理求得。设A为m×n阶矩阵,q=min(m,n),A*A的q个非负特征值的算术平方根叫作A的奇异值。奇异值分解是线性代数和矩阵论中一种重要的矩阵分解法,适用于信号处理和统计学等领域。(来源:百度百科)
(二)奇异值分解(Singular Value Decomposition)
奇异值分解(Singular Value Decomposition,以下简称SVD)是在机器学习领域广泛应用的算法,它不光可以用于降维算法中的特征分解,还可以用于推荐系统,以及自然语言处理等领域,是很多机器学习算法的基石。
1.知识基础(线性代数):
特征值和特征向量
其中A是一个n×n的实对称矩阵,x是一个n维向量,则我们说λ是矩阵A的一个特征值,而x是矩阵A的特征值λ所对应的特征向量。
矩阵的特征分解
具体见:https://www.cnblogs.com/pinard/p/6251584.html
参考:
https://www.cnblogs.com/pinard/p/6805861.html