潜在语义分析和概率潜在语义分析

一、潜在语义分析（LSA）

无监督算法，用于文本的话题分析，特点是通过矩阵分解发现文本与单词之间的基于话题的语义分析。

由来：文本信息处理中，传统方法以单词向量表示文本的语义内容，以单词向量空间中的度量表示文本之间的语义相似度。
潜在语义分析旨在解决该方法不能准确表示语义问题，试图从大量文本中发现潜在的话题，以话题向量表示文本的语义内容，以话题向量空间中的度量表示文本语义相似度

1. 单词向量空间

给定一个文本，用一个向量表示该文本的“语义”，其中向量的每一维对应一个单词，数值为单词在文本中出现的频数或权重

基本假设：

1. 文本中的所有单词出现情况表示了文本的语义内容
2. 文本集合中每一个文本都可以表示为一个向量，存在一个向量空间
3. 向量空间的度量，如内积或标准化内积表示文本之间的语义相似度

给定含有$n$个文本的集合 D = { d 1 , ⋯   , d n } \mathcal{D}=\{d_{1},\cdots,d_{n}\} D={d1​,⋯,dn​}，以及所有文章中出现的$m$个单词的集合 W = { w 1 , ⋯   , w m } \mathcal{W}=\{w_{1},\cdots,w_{m}\} W={w1​,⋯,wm​}。将单词在文本中出现的数据用一个单词-文本矩阵表示
$$X=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1n}\\ x_{21}& x_{22}& \cdots & x_{2n}\\ ⋮& ⋮& ⋮& ⋮\\ x_{m1}& x_{m2}& \cdots & x_{mn}\end{array}\right]=\left[\begin{array}{c}{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n\end{array}\right]$$
其中，$x_{ij}$表示单词$w_i$在文本$d_j$中出现的频数或权值。单词很多，且每个文本中单词种类较少，$X$为稀疏矩阵。
权值可以由TF-IDF（单词频率-逆文本频率）表示：
$$TF-ID{F}_{ij}=\frac{t{f}_{ij}}{t{f}_{\cdot j}}log\frac{df}{d{f}_i}$$
其中，$t{f}_{ij}$表示单词$w_i$在文本$d_j$中出现的频数，$t{f}_{\cdot j}$表示文本$d_j$中出现的所有单词的频数之和，$d{f}_i$表示含有单词$w_i$的文本数，$df$表示文本集合$D$的全部文本数
1）一个单词在一个文本中出现的频数越高，该单词在文本中的重要度就越高
2）一个单词在整个文本集合中出现的文本数越少，这个单词就越能表示其所在文本的特点，重要度就越高

文本语义相似度可由两个单词向量的内积或余弦表示$${\mathbf{x}}_i\cdot {\mathbf{x}}_j,\frac{{\mathbf{x}}_i\cdot {\mathbf{x}}_j}{\Vert {\mathbf{x}}_i\Vert \cdot \Vert {\mathbf{x}}_j\Vert }$$

优点：模型简单，计算效率高
缺点：内积相似度不能准确表示两个文本的相似度。自然语言具有一词多义，多词同义

2. 话题向量空间

话题是指文本所讨论的内容或主题，可由若干个语义相关的单词表示。同义词可表示一个话题，多义词可表示不同的话题

给定一个文本，用话题空间的一个向量表示文本，向量的每一个分量对应一个话题。
话题的个数通常远小于单词的个数

1. 话题向量空间
给定含有$n$个文本的集合 D = { d 1 , ⋯   , d n } \mathcal{D}=\{d_{1},\cdots,d_{n}\} D={d1​,⋯,dn​}，以及所有文章中出现的$m$个单词的集合 W = { w 1 , ⋯   , w m } \mathcal{W}=\{w_{1},\cdots,w_{m}\} W={w1​,⋯,wm​}。将单词在文本中出现的数据用一个单词-文本矩阵表示
$$X=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1n}\\ x_{21}& x_{22}& \cdots & x_{2n}\\ ⋮& ⋮& ⋮& ⋮\\ x_{m1}& x_{m2}& \cdots & x_{mn}\end{array}\right]=\left[\begin{array}{c}{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n\end{array}\right]$$
假设所有文本共含有$k$个话题，每个话题由一个定义在单词集合$\mathcal{W}$上的$m$维向量表示，称为话题向量，即
$${\mathbf{t}}_l=\left[\begin{array}{c}{t}_{1l}\\ t_{2l}\\ ⋮\\ t_{ml}\end{array}\right],l=1,2,\cdots ,k$$
其中，$t_{il}$表示单词$w_i$在话题$t_l$的权值，$i=1,2,\cdots ,m$，$k$个话题向量构成一个话题空间$T$，是单词向量空间$X$的一个子空间。$T$称为单词-话题空间，为
$$T=\left[\begin{array}{cccc}{t}_{11}& t_{12}& \cdots & t_{1k}\\ t_{21}& t_{22}& \cdots & t_{2k}\\ ⋮& ⋮& ⋮& ⋮\\ t_{m1}& t_{m2}& \cdots & t_{mk}\end{array}\right]=\left[\begin{array}{cccc}{\mathbf{t}}_1& {\mathbf{t}}_2& \cdots & {\mathbf{t}}_k\end{array}\right]$$

2. 文本在话题向量空间的表示
将单词向量空间$X$中的向量${\mathbf{x}}_j$映射到话题向量空间$T$中，得到向量${\mathbf{y}}_j$:
$${\mathbf{y}}_j=\left[\begin{array}{c}{y}_{1j}\\ y_{2j}\\ ⋮\\ y_{kj}\end{array}\right]$$
其中，$y_{lj}$表示文本$d_j$中话题${\mathbf{t}}_l$的权值

矩阵$Y$表示话题在文本中出现的情况，称为话题-文本矩阵
$$Y=\left[\begin{array}{cccc}{y}_{11}& y_{12}& \cdots & y_{1n}\\ y_{21}& y_{22}& \cdots & y_{2n}\\ ⋮& ⋮& ⋮& ⋮\\ y_{k1}& y_{k2}& \cdots & y_{kn}\end{array}\right]=\left[\begin{array}{cccc}{\mathbf{y}}_1& {\mathbf{y}}_2& \cdots & {\mathbf{y}}_k\end{array}\right]$$

3.从单词向量空间到话题向量空间的线性变换
潜在语义分析：单词-文本矩阵$X$可以由单词-话题矩阵$T$和话题-文本矩阵$Y$表示
$$X\approx TY$$
即$${\mathbf{x}}_j\approx y_{1j}{\mathbf{t}}_1+y_{2j}{\mathbf{t}}_2+\cdots +y_{kj}{\mathbf{t}}_k$$

文本语义相似度可由${\mathbf{y}}_i\cdot {\mathbf{y}}_j$表示

3. 潜在语义分析算法

3.1 矩阵奇异值分解

将单词-文本矩阵$X$进行截断奇异值分解：
$$X\approx U_k{\Sigma }_K{V}_k^T=[{\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_k]diag({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_k)\left[\begin{array}{c}{\mathbf{v}}_1^T\\ {\mathbf{v}}_2^T\\ ⋮\\ {\mathbf{v}}_k^T\end{array}\right]$$
则

1. $U_k=[{\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_k]$为单词-话题矩阵，同时构成话题向量空间
2. ${\Sigma }_K{V}_k^T=\left[\begin{array}{cccc}{\sigma }_1{v}_{11}& {\sigma }_1{v}_{21}& \cdots & {\sigma }_1{v}_{n1}\\ {\sigma }_2{v}_{12}& {\sigma }_2{v}_{22}& \cdots & {\sigma }_2{v}_{n2}\\ \cdots & \cdots & \cdots & \cdots \\ {\sigma }_k{v}_{1k}& {\sigma }_k{v}_{2k}& \cdots & {\sigma }_k{v}_{nk}\end{array}\right]$表示话题文本矩阵

3.2 非负矩阵分解

还可以采用非负矩阵分解对$X$进行拆分：
$$X\approx WH$$
$X\in R^{m\times n},W\in R^{m\times k},H\in R^{k\times n}$，且$W$表示话题空间，$H$表示话题文本矩阵，即文本在话题向量空间中的表示，可表示为如下优化问题：
$$\begin{gathered} \underset{W,H}{\min }\Vert X-WH{\Vert }^2 \\ s.t.W,H\ge 0 \end{gathered}$$
非负矩阵分解采用迭代算法进行求解：乘法更新规则的迭代算法，交替地对$W,H$进行更新

二、概率潜在语义分析（PLSA）

是一种利用概率生成模型对文本集合进行话题分析的无监督方法。
特点，用隐变量表示话题，整个模型表示文本生成话题，话题生成单词，从而得到单词-文本共现数据的过程

基本想法：对文本进行概率潜在语义分析，可以发现每个文本的话题，以及每个话题的单词。话题是不能从数据中直接观察到的，是潜在的

学习策略是观测数据的极大似然估计，学习算法是EM算法
给定单词-文本矩阵

2.1 生成模型

文本生成话题，话题生成单词，从而得到单词-文本共现数据的过程：假设每个文本由一个话题分布决定，每个话题由一个单词分布决定。单词变量$w$与文本变量$d$是观测变量，话题$z$是隐变量。

生成模型定义如下：
$$\begin{gathered} P(w,d)={\Pi }_{(w,d)}P(w,d{)}^{n(w,d)}, \\ P(w,d)=P(d)P(w|d)=P(d)\sum _{z}P(w,z|d)=P(d)\sum _{z}P(z|d)P(w|z) \end{gathered}$$
生成模型假设在话题$z$给定的条件下，单词$w$和文本$d$是条件独立的，有
$$P(w,z|d)=P(w|z,d)P(z|d)=P(z|d)P(w|z)$$
其中，$n(w,d)$表示$(w,d)$出现次数，$P(w,d)$表示每个文本对出现的概率

2.2 共现模型

描述文本单词数据拥有的模式
共现模型定义如下：
$$\begin{gathered} P(T)={\Pi }_{(w,d)}P(w,d{)}^{n(w.d)} \\ P(w,d)=\sum _{z\in Z}P(z)P(w,d|z)=\sum _{z\in Z}P(z)P(w|z)P(d|z) \end{gathered}$$

共现模型假设在话题$z$给定的条件下，单词$w$和文本$d$是条件独立的，有
$$P(w,d|z)=P(w|z)P(d|z)$$
其中，单词变量和文本变量$w,d$为观测变量，话题$z$为隐变量

生成和共现模型区别联系

• 联系：概率公式意义上等价
• 区别：
  1. 生成模型刻画文本-单词共现数据生成的过程，共现模型描述文本-单词共现数据拥有的模式
  2. 生成模型中单词变量$w$和文本变量$d$是非对称的，而共现模型中两者对称