机器学习：LDA_数学基础_4：变分推断：EM基础

• 变分：研究泛函极值的方法 就是变分法（求极值函数）
• E-L(欧拉-拉格朗日方程)方程是泛函有极值的必要条件，并不是充分条件。当泛函有极值时，E-L方程成立

---

EM算法的一般形式

• $X$：所有的观测变量；$Z$：所有的隐含变量；$\theta$ 是 $p(X,Z|\theta)$的参数

$p(X|\theta)=\sum_{Z}p(X,Z|\theta)$ ……..（设$Z$ 是离散的）

• 直接优化 $p(X|\theta)$ 困难；转向最优化 $p(X,Z| \theta)$
  设：潜在变量的分布是$q(Z)$

  $ln p(X|\theta) = L(q,\theta) + KL(q||p)$
  <=
  $L(q,\theta)=\sum_Z q(Z)+ln\{ \frac{p(X,Z|\theta)}{q(Z)}\}$
  $KL(q||p) = -\sum_Z q(Z)ln\{ \frac{p(Z|X,\theta)}{q(Z)}\}$
  <=
  其中
  $KL(q||p)=\sum_Zq(Z)ln\frac{q(Z)}{p(Z|X,\theta)}=-\sum_Zq(Z)ln\frac{p(Z|X,\theta)}{q(Z)}$ >=0

  其中 $L(q,\theta)$ 是$q(Z)$的一个泛函，是参数$\theta$的函数；
  $lnp(X,Z|\theta) = lnp(Z|X,\theta)+lnp(X|\theta)$

  =>
  其中$KL$>=0(Jession不等式),当且仅当$q(z)=p(Z|X,\theta)$时候成立；
  也就是
  $L(q,\theta) <= lnp(X|\theta)$;$L(q,\theta)$是$np(X|\theta)$的下限

  

  ---

  EM算法和变分

  EM: 算法，计算隐变量的后验概率的期望，得到下届
  变分：计算KL散度，得到下界