机器学习笔记——11 混合高斯模型(Mixtures of Gaussian)：利用EM算法估计参数

机器学习笔记——11 混合高斯模型(Mixtures of Gaussian)：利用EM算法估计参数

本文主要介绍混合高斯模型，它涉及到对个分布来源，因此参数的估计将是一个难题。本文着重介绍如何利用EM算法对参数进行估计。

混合高斯模型(Mixtures of Gaussian)

在我们之前接触的大部分分布中，样本数据大部分独立同分布与某个分布。但是混合高斯模型中，样本数据并不是来自一个单一的高斯分布，而是来自多个高斯分布。我们假设共有$k$个高斯分布，如果第i个样本$x^{(i)}$来自第j个高斯分布，记$z^{(i)}=j$。在高斯混合模型中，$p(x|z=j)=N(u_j,{\Sigma }_j)$。而参数$z$服从多项分布$Multinomial(\varphi )$。即$z$取$j$的概率为${\varphi }_j$。由此我们可以导出混合高斯的边缘分布为：$$m(x)=\sum _{j=1}^{k}p(z=j)p(x|z=j)=\sum _{j=1}^k{\varphi }_{j}p(x|u_j,{\Sigma }_j)$$因此样本的对数似然函数为： ℓ ( ϕ , u , Σ ) = log ⁡ ∏ i = 1 m m ( x ( i ) ) = ∑ i = 1 m log ⁡ m ( x ( i ) ) = ∑ i = 1 m log ⁡ ∑ j = 1 k ϕ j p ( x ∣