统计学习方法第9章EM算法

EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计或极大后验概率估计。
EM算法每次迭代由两步组成：E步，求期望，M步，求极大。称为期望极大算法（expectation maximization）
观测数据为$Y=(Y_{,}{Y}_2,\dots ，Y_n{)}^T$，不可观测数据为$Z=(Z_1,Z_2,\dots ，Z_n{)}^T$,则观测数据的似然函数为$$P(Y|\theta )=\sum _{z}P(Z|\theta )P(Y|Z,\theta )$$
$$=\prod _{j=}^n[\pi p^{y_j}(1-p{)}^{1-y_i}+(1-\pi )q^{y_j}(1-q{)}^{1-y_j}]$$
模型参数$\theta =(\pi ,p,q)$的极大似然估计为$\hat{\theta }=argma{x}_{\theta }logP(Y|\theta )$
这个问题没有解析解，只有通过迭代的方法求解。

EM算法首先选取参数的初值，记做${\theta }^{(0)}=({\pi }^{(0)},p^{(0)},q^{(0)})$,然后通过下面的步骤接待计算参数的估计值，直至收敛为止。第i次迭代参数的估计值为${\theta }^{(i)}=({\pi }^{(i)},p^{(i)},q^{(i)})$。EM算法第i+1次迭代如下：
E步（求期望）：计算在模型参数${\pi }^{(i)},p^{(i)},q^{(i)}$下观测数据$y_j$来自掷硬币B的概率
$${\mu }_j^{(i+1)}=\frac{{\pi }^{(i)}(p^{(i)}{)}^{y_j}(1-p^{(i)}{)}^{1-y_j}}{{\pi }^{(i)}(p^{(i)}{)}^{y_j}(1-p^{(i)}{)}^{1-y_j}+(1-{\pi }^{(i)})(q^{(i)}{)}^{y_j}(1-q^{(i)}{)}^{1-y_j}}$$
M步（求极大化）：计算模型参数的新估计值
$${\pi }^{(i+1)}=\frac{1}{n}\sum _{j=1}^n{\mu }_j^{(i+1)}$$
$$p^{(i+1)}=\frac{{\sum }_{j=1}^n{\mu }_j^{(i+1)}{y}_j}{{\sum }_{j=1}^n{\mu }_j^{i+1)}}$$
$$q^{(i+1)}=\frac{{\sum }_{j=1}^n(1-{\mu }_j^{(i+1)})y_j}{{\sum }_{j=1}^n(1-{\mu }_j^{(i+1)})}$$

EM算法

输入：观测变量数据Y，隐变量数据Z，联合分布$P(Y,Z|\theta )$，条件分布$P(Z|Y,\theta )$
输出：模型参数θ
（1）选择参数的初值${\theta }^{(0)}$,开始迭代
（2）E步：记${\theta }^{(i)}$为第i 次迭代参数θ的估计值，在第i+1次迭代的E步，计算
$$Q(\theta ,{\theta }^{(i)})=E_Z[logP(Y,Z|\theta )|Y,{\theta }^{(i)}]=\sum _{z}logP(Y,Z|\theta )P(Z|Y,{\theta }^{(i)})$$
这里$P(Z|Y,{\theta }^{(i)})$是在给定观测数据Y和当前参数估计${\theta }^{(i)}$下隐变量数据Z的条件概率分布；
（3）M步：求使$Q(\theta ,{\theta }^{(i)})$极大化的$\theta$，确定第i+1次迭代的参数估计值${\theta }^{(i+1)}$，${\theta }^{(i+1)}=argma{x}_{\theta }Q(\theta ,{\theta }^{(i)})$
（4）重复第（2）（3）步直至收敛。迭代停止条件，一般是对较小的正整数${\epsilon }_1,{\epsilon }_2$满足$||{\theta }^{(i+1)}-{\theta }^{(i)}<{\epsilon }_1$或$||Q({\theta }^{(i+1)},{\theta }^{(i)})-Q({\theta }^{(i)},{\theta }^{(i)})||<{\epsilon }_2$，则停止迭代。

EM算法在高斯混合模型学习中的应用

高斯混合模型

定义：高斯混合模型具有如下形式的概率分布：$P(y|\theta )={\sum }_{k=1}^K{\alpha }_k\psi (y|{\theta }_k)$,其中${\alpha }_k$是系数，${\alpha }_k\ge 0,{\sum }_{k=1}^K{\alpha }_k=1;\psi (y|{\theta }_k)$是高斯分布密度，${\theta }_k=({\mu }_k,{\sigma }_k^2)$,
$$\psi (y|{\theta }_k)=\frac{1}{\sqrt{2\pi }{\sigma }_k}exp(-\frac{(y-{\mu }_k{)}^2}{2{\sigma }_k^2})$$称为第k个分模型。

算法：高斯混合模型参数估计的EM算法

输入：观测数据$y_1,y_2,\dots ,y_N$,高斯混合模型；
输出：高斯混合模型参数
（1）取参数的初始值开始迭代
（2）E步：依据当前模型参数，计算分模型k对观测数据$y_j$的响应度
$${\hat{\gamma }}_{jk}=\frac{{\alpha }_k\psi (y_j|{\theta }_k)}{{\sum }_{k=1}^K{\alpha }_k\psi (y_j|{\theta }_k)},j=1,2,\dots ,N;k=1,2,\dots ,K$$
（3）M步：计算新一轮迭代的模型参数
$${\hat{\mu }}_k=\frac{{\sum }_{j=1}^N{\hat{\gamma }}_{jk}{y}_j}{{\sum }_{j=1}^N{\hat{\gamma }}_{jk}},k=1,2,\dots ,K$$
$${\hat{\sigma }}_k^2=\frac{{\sum }_{j=1}^N{\hat{\gamma }}_{jk}(y_j-{\mu }_k{)}^2}{{\sum }_{j=1}^N{\hat{\gamma }}_{jk}},k=1,2,\dots ,K$$
$${\hat{\alpha }}_k=\frac{{\sum }_{j=1}^N{\hat{\gamma }}_{jk}}{N},k=1,2,\dots ,K$$
（4）重复第（2）（3）步直至收敛。