- 变分:研究泛函极值的方法 就是变分法(求极值函数)
- E-L(欧拉-拉格朗日方程)方程是泛函有极值的必要条件,并不是充分条件。当泛函有极值时,E-L方程成立
EM算法的一般形式
-
X
:所有的观测变量;
Z :所有的隐含变量; θ 是 p(X,Z|θ) 的参数
p(X|θ)=∑Zp(X,Z|θ) ……..(设 Z 是离散的)
- 直接优化
p(X|θ) 困难;转向最优化 p(X,Z|θ)
设:潜在变量的分布是 q(Z)lnp(X|θ)=L(q,θ)+KL(q||p)
<=
L(q,θ)=∑Zq(Z)+ln{p(X,Z|θ)q(Z)}
KL(q||p)=−∑Zq(Z)ln{p(Z|X,θ)q(Z)}
<=
其中
KL(q||p)=∑Zq(Z)lnq(Z)p(Z|X,θ)=−∑Zq(Z)lnp(Z|X,θ)q(Z) >=0其中 L(q,θ) 是 q(Z) 的一个泛函,是参数 θ 的函数;
lnp(X,Z|θ)=lnp(Z|X,θ)+lnp(X|θ)=>
其中 KL >=0(Jession不等式),当且仅当 q(z)=p(Z|X,θ) 时候成立;
也就是
L(q,θ)<=lnp(X|θ) ; L(q,θ) 是 np(X|θ) 的下限
EM算法和变分
EM: 算法,计算隐变量的后验概率的期望,得到下届
变分:计算KL散度,得到下界