EM推导PLSA模型

EM推导PLSA模型

回归EM算法

以上是EM算法的框架，基本思想是：

• E步骤：求当隐变量给定后当前估计的参数条件下的后验概率
• M步骤：最大化complete data对数似然函数的期望，把E步当做是已知值，得到新的参数值
• 不断迭代以上步骤直到收敛。

plsa模型简介

PLSA应用于信息检索、过滤、自然语言处理等领域，考虑到词分布和主题分布，可以看做概率化的矩阵分解，采用EM算法来学习参数。

模型示意图如下：

其中包括的概率有：

1. 以$p(d_i)$的概率选中文档$d_i$
2. 以$p(z_k | d_i)$的概率选中主题$z_k$
3. 以$p(w_j|z_k)$的概率产生一个词$w_j$

在plsa中, $p(d_i)$可以事先计算求出， 而$p(w_j|z_k), p(z_k| d_i)$就是我们需要计算的参数。

根据EM算法：
E步： 求隐变量的后验概率

$p(z_k | d_i, w_j) = \frac{ p(w_j | z_k) p(z_k | d_i)}{ \sum_{l=1} ^Kp(w_j | z_l) p(z_k | d_i)}$

M步 完整数据的似然函数的期望

$l = \sum_i \sum_j n(d_i, w_j) log p(d_i, w_j)$
$= \sum_i \sum_j n(d_i, w_j) log p(w_j | d_i) p(d_i)$
=∑i∑jn(di,wj)logp(wj|di)+∑i∑jn(di,wj)logp(di) = ∑ i ∑ j n ( d i , w j ) l o g p ( w