机器学习3. EM算法与变分推断(Variational Inference)

参考文献

1. PRML

EM算法

核心思想（以混合高斯为例）：样本$x$是由多个混合高斯组成，若我们知道每个数据$x_i$来自于哪个混合高斯（如第$k$个），那么我们对所有属于类$k$的$x_{ik}$使用极大似然估计就可以求得相应的参数。但是现在我们不知道样本$x_{ik}$中到底属于哪个$k$，我们可以先根据当前的参数$\theta$估计一个样本的类别向量$z_{ik}$（E步），使得在这个类别向量下我的总似然最大，然后我在这个类别向量的条件下用以前的极大似然方法估计我新的参数（M步）。重复迭代直至收敛。

• Jession 不等式

  • 对凸函数$f(x)$来说，有下式成立（凹函数反向）
    $E[f(x)]\ge f(E[x])$
  • 等号成立条件：
    $x$是常数

• 原始问题似然函数推导：
  $l(\theta )={\sum }_{i}log(P(x_i;\theta ))$ 对数似然定义
  $={\sum }_{i}log({\sum }_{z_i}P(x_i,z_i;\theta ))$ 将隐变量展开
  $={\sum }_{i}log({\sum }_{z_i}Q(z_i)\frac{P(x_i,z_i,\theta )}{Q(z_i)})$ ，其中$Q(z_i)$是$z_i$的分布（类似一个multinational的分布）

  • 若直接对上式进行极大似然估计，那么由于对数内侧求和符号的存在，所求偏导比较复杂。
  • 观察对数项，其实是$\frac{P(x_i,z_i,\theta )}{Q(z_i)}$对$Q$分布的一个数学期望，又因为对数函数是凹函数，由jession不等式可得下界：
    ${\sum }_{i}log({\sum }_{z_i}Q(z_i)\frac{P(x_i,z_i,\theta )}{Q(z_i)})={\sum }_{i}log(E_Q[\frac{P(x_i,z_i,\theta )}{Q(z_i)}])$
    $\ge {\sum }_i{E}_Q[log(\frac{P(x_i,z_i,\theta )}{Q(z_i)})]$ (Jession 不等式)
    = ∑ i ∑ z i Q ( z i ) l o g ( P ( x i , z i , θ ) ) Q ( z i ) ) =\sum_i\sum_{z_i}Q(z_i)log(\frac{P(x_i,z_i,\theta))}{Q(z_i)}) =∑i​∑zi​​Q(zi​)log(Q(zi​)P(x