EM,VB,Gibbs Sampling解高斯混合模型

高斯混合模型

假设数据产生过程如下：
$z\sim Mut(\pi )$
$x|z\sim N({\mu }_z,{\sigma }_z^2)$
记 θ = { π , μ 1 , . . . , μ K , σ 1 , . . . , σ K } \theta = \{\pi,\mu_1,...,\mu_K,\sigma_1,...,\sigma_K\} θ={ π,μ1​,...,μK​,σ1​,...,σK​}为这个模型的所有参数
观察数据为 D = { x i } N D=\{x_i\}_N D={ xi​}N​
采用极大似然估计参数$\theta$
$$log(p(D;\theta ))=\sum _{i=1}^{N}log(p(x_i;\theta ))$$

EM算法

直接对上述结果进行优化，由于高斯分布的参数形式比较复杂，并不是那么好计算。
注意到
$$\begin{gathered} log(p(D;\theta ))=\sum _{i=1}^{N}log(p(x_i;\theta )) \\ =\sum _{i=1}^{N}log\left(\sum _{z_i=1}^{K}p(x_i,z_i;\theta )\right) \\ =\sum _{i=1}^{N}log\left(\sum _{z_i=1}^{K}Q(z_i)\frac{p(x_i,z_i;\theta )}{Q(z_i)}\right) \\ \ge \sum _{i=1}^N\sum _{z_i=1}^{K}Q(z_i)log\left(\frac{p(x_i,z_i;\theta )}{Q(z_i)}\right) \end{gathered}$$
最后一步就是Jenssen不等式
注意到，当Jenssen不等式取等号时：
$$\frac{p(x_i,z_i;\theta )}{Q(z_i)}=c\text{ for any zi}$$
只有$Q(z_i)=p(z_i|x_i;\theta )$时，这个式子才是成立的
这样可以采用坐标上升法去求得最优的$Q(z_i)$和$\theta$
E-step:
$$\begin{gathered} \text{固定θ,最优化Q(zi) : } \\ Q(z_i)=p(z_i \end{gathered}$$