《统计学习方法》学习笔记 第十七章 LSA(latent semantic analysis)

1 单词向量空间与话题向量空间

1.1 word vector space

含有n个文本的集合 D = { d 1 , d 2 , ⋯   , d n } D=\{d_1,d_2,\cdots,d_n\} D={d1​,d2​,⋯,dn​}
在文本中出现的m个单词的集合 W = { w 1 , w 2 , ⋯   , w m } W=\{w_1,w_2,\cdots,w_m\} W={w1​,w2​,⋯,wm​}
(word-document matrix)$X=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1n}\\ x_{21}& x_{22}& \cdots & x_{2n}\\ ⋮& ⋮& & ⋮\\ x_{m1}& x_{m2}& \cdots & x_{mn}\end{array}\right]$
X是一个稀疏矩阵。

权值通常用单词频率-逆文本频率(term frequency-inverse document frequency,TF-IDF) 表示
$TFID{F}_{ij}=\frac{t{f}_{ij}}{t{f}_{\cdot j}}\log \frac{df}{d{f}_i},i=1,2,\cdots ,m;j=1,2,\cdots ,n$
$t{f}_{ij}$是单词$w_i$出现在文本$d_j$中的频数
$t{f}_{\cdot j}$是文本$d_j$中出现的所有单词的频数之和
$d{f}_i$是含有单词$w_i$的文本数
$df$是文本集合D的全部文本数

直观上，一个单词在一个文本中出现的频数越高，这个单词在这个文本中的重要度就越高；一个单词在整个文本集合中出现的文本数越少，这个单词就越能表示其所在文本的特点，重要度就越高；一个单词在一个文本的TF-IDF是两种重要度的积，表示综合重要度。

两个单词向量的内积或标准化内积（余弦）表示对应的文本之间的语义相似度。
文本$d_i$与$d_j$之间的相似度为$x_i\cdot x_j,\frac{x_i\cdot x_j}{||x_i||||x_j||}$

单词向量空间模型的局限性：
①polysemy：apple$\to$apple computer，fruit
②synonymy：airplane，aircraft

1.2 topic vector space

假设所有文本共含有k个话题。假设每个话题由一个定义在单词集合W上的m维向量表示，称为话题向量，即
$t_l=\left[\begin{array}{c}{t}_{1l}\\ t_{2l}\\ ⋮\\ t_{ml}\end{array}\right],l=1,2,\cdots ,k$
其中$t_{il}$是单词$w_i$在话题$t_l$的权值，权值越大，该单词在该话题中的重要度就越高。

(word-topic matrix)$T=\left[\begin{array}{cccc}{t}_{11}& t_{12}& \cdots & t_{1k}\\ t_{21}& t_{22}& \cdots & t_{2k}\\ ⋮& ⋮& & ⋮\\ t_{m1}& t_{m2}& \cdots & t_{mk}\end{array}\right]=[t_1{t}_2\cdots t_k]$

考虑文本集合D中的文本$d_j$，在单词向量空间由一个向量$x_j$表示，将$x_j$投影到话题向量空间T中，得到在话题向量空间的一个向量$y_j$
$y_j=\left[\begin{array}{c}{y}_{1j}\\ y_{2j}\\ ⋮\\ y_{kj}\end{array}\right],j=1,2,\cdots ,n$
$y_{lj}$是文本$d_j$在话题$t_l$的权值，权值越大，该话题在该文本中的重要度就越高。
(topic-document matrix)$Y=\left[\begin{array}{cccc}{y}_{11}& y_{12}& \cdots & y_{1n}\\ y_{21}& y_{22}& \cdots & y_{2n}\\ ⋮& ⋮& & ⋮\\ y_{k1}& y_{k2}& \cdots & y_{kn}\end{array}\right]=[y_1{y}_2\cdots y_n]$

潜在语义分析：$X\approx TY$

2 潜在语义分析算法——矩阵奇异值分解算法

$X=U_k{\Sigma }_k{V}_k^T=[u_1{u}_2\cdots u_k]\left[\begin{array}{cccc}{\sigma }_1& 0& \cdots & 0\\ 0& {\sigma }_2& \cdots & 0\\ ⋮& ⋮& & ⋮\\ 0& 0& \cdots & {\sigma }_k\end{array}\right]\left[\begin{array}{c}{v}_1^T\\ v_2^T\\ ⋮\\ v_k^T\end{array}\right]$
式中$k\le n\le m$，矩阵$U_k$的每一个列向量表示一个话题，称为话题向量；${\Sigma }_k{V}_k^T$是文本在话题空间的表示。

3 非负矩阵分解算法

若一个矩阵X所有的元素非负，则称该矩阵X为非负矩阵，记作$X\ge 0$。
给定一个$X\ge 0$，找到两个$W\ge 0$和$H\ge 0$，使得$X\approx WH$。
假设非负矩阵$X\in R^{m\times n},W\in R^{m\times k},H\in R^{k\times n}$，假设$k<\min (m,n)$，即W和H小于原矩阵。

设两个非负矩阵$A=[a_{ij}{]}_{m\times n},B=[b_{ij}{]}_{m\times n}$，平方损失函数定义为
$||A-B|{|}^2=\sum _{i,j}(a_{ij}-b_{ij}{)}^2$；散度(divergence)损失函数定义为$D(A||B)=\sum _{i,j}(a_{ij}\log \frac{a_{ij}}{b_{ij}}-a_{ij}+b_{ij})$

①$\underset{W,H}{\min }||X-WH|{|}^{2}s.t.W,H\ge 0$
②$\underset{W,H}{\min }D(X||WH)s.t.W,H\ge 0$

Theorem1 $||X-WH|{|}^2$对下列乘法更新法则
$H_{lj}\leftarrow H_{lj}\frac{(W^{T}X{)}_{lj}}{(W^{T}WH{)}_{lj}}$
$W_{il}\leftarrow W_{il}\frac{(X{H}^T{)}_{il}}{(WH{H}^T{)}_{il}}$
是非增的。当且仅当W和H是平方损失函数的稳定点时函数的更新不变。

Theorem2 $D(X||WH)$对下列乘法更新法则
$H_{lj}\leftarrow H_{lj}\frac{{\sum }_i[W_{il}{X}_{ij}/(WH{)}_{ij}]}{{\sum }_i{W}_{il}}$
$W_{il}\leftarrow W_{il}\frac{{\sum }_j[H_{lj}{X}_{ij}/(WH{)}_{ij}]}{{\sum }_j{H}_{lj}}$
是非增的。当且仅当W和H是散度损失函数的稳定点时函数的更新不变。

$J(W,H)=\frac{1}{2}||X-WH|{|}^2=\frac{1}{2}{\sum }_{i,j}[X_{ij}-(WH{)}_{ij}{]}^2$
用梯度下降法求解。（略）

算法（非负矩阵分解的迭代算法）
输入：单词-文本矩阵$X\ge 0$，文本集合的话题个数k，最大迭代次数t；
输出：话题矩阵W，文本表示矩阵H。
（1）初始化
$W\ge 0$，并对W的每一列数据归一化；
$H\ge 0$；
（2）迭代
对迭代次数由1到t执行更新步骤。

总结

我讨厌矩阵