概率隐语义分析(Probabilistic Latent Semantic Analysis, PLSA)

Probabilistic Latent Semantic Analysis

PLSA来自于一篇1999年UAI的一篇文章，他研究的是一下概率图：

其中d表示document，z是隐变量，表示潜在的语义，w是表示词word。从独立性来看，这个图跟下面的图是等价的，都满足$d\perp w|z$

所以在那篇原始论文中[1]，求解模型的时候，直接求解了(b)模型。求解方法就是标准的EM方法（更多可看我的另一篇博客《带你理解EM算法》），其推导结果如下：

我们只要不停迭代更新这几个分布的参数直到收敛就可以了。

Latent Semantic Analysis

然而在传统的LSA中，其实是没有用到概率的，他们只看到D和W的，于是就组成一个二维矩阵，然后用SVD去分解他，如下图所示

这时候，我们可以对word以及document进行降维。现在其实我们可以对SVD赋予一个概率上的含义，如果我们令$P=p(w,d)$，由word和document组成的概率分布，并设$U=(p(w_i|z_k){)}_{i,k}$,$V=(p(d_j|z_k){)}_{j,k}$,$\Sigma =diag(P(z_k){)}_k$， 于是，$P=U\Sigma V^T$。所以，PLSA本质上可以看做是在用EM算法迭代地去求解一个SVD分解。

反过来说，矩阵分解可以看做是求解图(b)那样的生成模型，通过找到一种隐式表征Z来构造出显式的数据W,D，而这跟PCA和Factor Analyic，VAE等生成模型如出一辙，非常有意思。

参考资料

[1] Hofmann, Thomas. “Probabilistic latent semantic analysis.” Proceedings of the Fifteenth conference on Uncertainty in artificial intelligence. Morgan Kaufmann Publishers Inc., 1999.