ML 12 & 13 mixture of gaussions and EM

先来看下普通的EM算法:
该算法的目的是给的一些样本点,然后反推符合这些样本点所属分布函数们(可能有多个)的参数

$z^{(i)}=j$表示是第$j$个分布函数,$Q_i(z^{(i)}=j)$表示第i个点属于第j个分布函数的概率,$i$表示对第i个点而言,可以把z当成向量,i表示z的第i个分量

为了使这里的不等式变成等式,那么


通过这里的不等式变等式(E step),在确定了分布函数们的参数$\Theta$的情况下, 我们求得了分布函数们被选择的概率$Q_i$

接着,在确定分布函数们被选择的概率情况下,我们通过最大似然法求出每个分布概率的参数$\Theta$,然后一直迭代,直到收敛.

下面,我们来看下EM的特殊情况,mixture of gaussions

同理对$\phi,\epsilon$求偏导并使其为0,就可以得到m-step

最后给出完整mixture of gaussions的EM算法

这里有两个高斯函数

注意这里$\phi_j$代表分布函数$j$被选择的概率

这一步求$w_j^{(i)}$即点i属于高斯函数j的概率
注意$p(z^{(i)}=j)$与$p(z^{(i)}=j|x^{(i)})$两个概率的区别.
$p(z^{(i)}=j)$表示高斯函数j被选择的概率
$p(z^{(i)}=j|x^{(i)})$表示点i属于高斯函数j的概率

举个例子说明下, 有三个箱子,每个箱子装有球,
$p(z^{(i)}=1)$表示箱子1被选择的概率
$p(z^{(i)}=1|x^{(i)})$表示在摸出第i球的情况下,球属于第1个箱子的概率

这一步就求每个分布函数的参数: 幅度,均值,方差