统计学习方法学习笔记：第九章.EM算法及其推广

第九章：EM算法及其推广

EM算法及其收敛性：

EM算法就是$含有隐变量的概率模型参数的极大似然估计法$或极大后验概率估计法；因为这样的概率模型时是无法求得解析解的，只能通过迭代的方式计算出近似值，而EM算法就可以理解为这样的一种求解参数值的$迭代算法$，$将极大化观测数据Y关于参数\theta 的对数似然函数的问题转变为求解Q函数关于参数\theta 的极值的问题$

选择参数初值：

${\theta }^{(0)},开始迭代，EM算法对初值是敏感的，对于不同的初值，最终得到的参数估计也会不同$

E步：求解的Q函数是与对数最大似然函数等效的一个表达式，每次迭代求解Q函数（最大似然函数的下界关于$\theta$的表达式即省略掉极大化过程中对于$\theta$而言是常数的那些项后）的极值，就相当于增大最大似然函数

计算Q函数：完全数据(Y,Z)的对数似然函数关于给定观测数据Y和当前参数${\theta }^{(i)}$下对未观测数据Z的条件概率分布的期望

$Q(\theta ,{\theta }^{(i)})=E_Z[logP(Y,Z|\theta )|Y,{\theta }^{(i)}]={\sum }_{Z}logP(Y,Z|\theta )P(Z|Y,{\theta }^{(i)})$

${\theta }^{(i)}$是第i次迭代参数$\theta$的估计值；Y为观测数据，Z为未观测数据

M步：

求解使得Q函数最大的那个$\theta$,更新为${\theta }^{(i+1)}=\theta$，$每一次迭代都会使似然函数L(\theta )=logP(Y|\theta )=log[{\sum }_{Z}P(Y|Z,\theta )P(Z|\theta )]增大或者达到局部极大.$

重复EM，直至$\theta$值收敛；（可以证明，EM算法中 的$对数似然函数序列L({\theta }^{(i)})和参数估计序列{\theta }^{(i)}是收敛的，但是{\theta }^{(i)}只能保证收敛到L({\theta }^{(i)})的稳定点，而不一定是极大值点，所以初值的选择就很重要$

在高斯混合学习模型中的应用：

输入：观测数据$y_i$,高斯混合模型：$P(y|\theta )=\sum _{k=1}^K{\alpha }_k\varphi (y|{\theta }_k),\varphi (y|{\theta }_k)为高斯分布概率密度函数$

输出：高斯混合模型参数
$\theta =({\alpha }_1,{\alpha }_2,...{\alpha }_k;{\theta }_1,{\theta }_2,...{\theta }_k),其中{\theta }_k=({\mu }_k,{\sigma }_k^2)，为高斯分布的参数$

1. 初始化参数$\theta$

2. E步：计算分模型$k$对观测数据$y_i$的响应度$E({\gamma }_{jk}|y,\theta )：当前模型参数下，第j个观测来自第k个分模型的概率大小$

   ${\hat{\gamma }}_{jk}=\frac{{\alpha }_k\varphi (y_j|{\theta }_k)}{\sum _{k=1}^K{\alpha }_k\varphi (y_j|{\theta }_k)},j=1,2,...,N;k=1,2,...,K$可知能够求得一个N*K的响应度矩阵；

3. M步：计算新一轮的迭代模型参数：

${\hat{\mu }}_k=\frac{\sum _{j=1}^N{\hat{\gamma }}_{jk}{y}_j}{\sum _{j=1}^N{\hat{\gamma }}_{jk}},{\hat{\sigma }}_k^2=\frac{\sum _{j=1}^N{\hat{\gamma }}_{jk}(y_j-{\mu }_k{)}^2}{\sum _{j=1}^N{\hat{\gamma }}_{jk}},{\hat{\alpha }}_k=\frac{\sum _{j=1}^N{\hat{\gamma }}_{jk}}{N};k=1,2,...,K$
5. 重复2、3直至收敛

EM算法的推广

EM算法还可以解释为$F函数的极大-极大算法，而GEM算法就是基于这个解释的若干变形和推广$具体参见《统计学习方法》