统计学习方法学习笔记：第十七章.潜在语义分析

第十七章：潜在语义分析

单词向量空间

假设$某一个文本为一个向量$，而$向量的每一维对应某个单词在该文本中的频数或者权值$（TF-IDF,具体定义可查看书籍，是一个单词在文本综合重要度的体现），那么文本集合就可以表示为一个$m\times n的单词-文本矩阵X$其中，m为可能出现的单词总数，n为文本的个数；

那么向量空间的度量（內积、标准化內积）表示文本之间的‘语义相关度’，但是这种度量存在一个问题，即$多词同意、一词多义$，那么基于单词向量的相似度计算就存在$不准确问题$

话题向量空间

话题指文本所讨论的内容或主题；由若干个语义相关的单词表示；

$m\times k阶单词-话题矩阵T：$列向量表示某一个话题中各个单词的权值，叫做话题向量；

$k\times n阶话题-文本矩阵Y：$列向量表示某一个文本中各话题的权值；

那么：$X\approx TY$就表示潜在语义分析，为单词向量空间X到话题向量空间的线性变换，即：$在单词向量空间的文本向量x_j可以由k个话题向量以y_j为系数的线性组合近似表示：$

$x_j\approx y_{1j}{t}_1+y_{2j}{t}_2+\cdots +y_{kj}{t}_k，j=1,2，\cdots ,n$

奇异值分解算法

由潜在语义分析表达式 $X\approx TY$可以知道，可以对$X$进行$截断奇异值分解$，即$X\approx U_k{\Sigma }_k{V}_k^T=U_k({\Sigma }_k{V}_k^T)$，这样就得到了话题空间： $T=U_k$，以及文本在话题空间的表示：$Y={\Sigma }_k{V}_k^T$

非负矩阵分解算法

由于 X 非负，所以可以使用非负矩阵算法将 X 分解为两个非负矩阵：$X\approx WH$,W 为基矩阵，H 为系数矩阵；分别对应着话题空间和文本在话题向量空间的表示；

非负矩阵分解可以形式化为损失函数的最小化，即最优化问题：

$\underset{W,H}{\min }||X-WH|{|}^2$

$s.t.W,H\ge 0$

上面是平方损失函数，还可以使用散度损失函数（定义可查看书籍）

求解上最优化问题的解使用基于$‘乘法更新原则’$的迭代算法（梯度下降法），详细算法可参见书籍；