EM算法与高斯混合聚类

EM算法

用Y表示观测随机变量的数据，Z表示隐随机变量的数据，Y和Z连在一起成为完全数据，观测Y又称为不完全数据。假设给定观测数据Y，其概率分布是$P(Y|\theta)$，其中$\theta$是要估计的模型参数，完全数据的对数似然函数为$logP(Y,Z|\theta)$，EM算法通过迭代求对数似然函数的极大似然估计，每次迭代包括两步：E步，求期望；M步，求极大化。
算法步骤如下：
1.选择参数的初值$\theta^{(0)}$，开始迭代
2.E步：记$\theta{(i)}$为第i次迭代参数$\theta$的估计值，在第i+1次迭代的E步，计算
$Q(\theta,\theta^{(i)})=E_Z[logP(Y,Z)|Y,\theta^{(i)}]$
3.M步：求使$Q(\theta,\theta^{(i)})$极大化的$\theta$，确定第i+1次的迭代参数估计值