概率潜在语义分析

前言

  LSA是以矩阵的奇异值分解形式实现的，而pLSA是LSA的概率化，属于概率图模型中的生成模型。

概率潜在语义分析

  LSA通过矩阵的奇异值分解得到文档和主题的相关度，词和词义的相关度以及词义和主题的相关度。但是该模型缺乏统计基础，得到的也不是一个概率模型，难以进行直观的解释。
  pLSA模型中引入了隐变量$z$作为潜在语义，并使用EM算法对潜在语义模型进行拟合；设文档$d$总数为$i$、潜在语义$z$总数为$k$，单词总数$w$为$j$，文档-单词的共现频率矩阵$N=(nij)$，$n(d_i,w_j)$表示单词$w_j$在文档$d_i$中出现的频率。
$$\begin{gathered} P(d_i,w_j)=P(d_i)P(w_j|d_i)=\sum _{k=1}^{K}P(d_i,z_k,w_j)=\sum _{k=1}^{K}P(d_i)P(z_k|d_i)P(w_j|z_k) \\ P(w_j|d_i)=\sum _{k=1}^{K}P(z_k|d_i)P(w_j|z_k)) \\ P(z_k,d_i)=P(d_i)P(z_k|d_i)=P(z_k)P(d_i|z_k) \\ P(d_i,w_j)=\sum _{k=1}^{K}P(z_k)P(d_i|z_k)P(w_j|z_k) \end{gathered}$$
  pLSA的求解步骤如下：

1. 初始化：
   令$P(z_k)$=\frac{1}{K}，$P(z_k|d_i)$和$P(w_j|z_k)$分别赋予一个0到1 之间的随机数作为初始值。
2. E步骤计算任何一个$(d_i,w_j)$对产生潜在语义$z_k$的后验概率：
   $$P(w_j|z_k)=\frac{P(z_k|d_i)P(w_j|z_k)}{{\sum }_{l=1}^{K}P(z_l|d_i)P(w_j|z_l)}$$
3. M步根据公式对模型重新估计：
   $$P(w_j|z_k)=\frac{{\sum }_{i=1}^{N}P(d_i,w_j)P(z_k|d_i,w_j)}{{\sum }_{m=1}^M{\sum }_{i=1}^{N}P(d_i,w_m)P(z_k|d_i,w_m)}$$

结束语

本人大三学生一枚，学识尚浅，不喜勿喷，希望今日能抛砖引玉，请各位大佬一定不吝赐教！！！
参考自：https://www.pianshen.com/article/1431723313/