机器学习-白板推导系列笔记（十一）-GMM

此文章主要是结合哔站shuhuai008大佬的白板推导视频：GMM_95min

全部笔记的汇总贴：机器学习-白板推导系列笔记

一、模型介绍

（一）几何角度

可以认为高斯混合模型是将多个高斯分布加权平均而成的模型：

$$p(x)=\sum _{k=1}^K{\alpha }_{k}N({\mu }_k,{\Sigma }_k),\sum _{k=1}^K{\alpha }_k=1$$

（二）混合模型（或者生成模型）角度

可以认为高斯混合模型是一种含有隐变量的生成模型：

$x$:observed variable
$z$:latent variable

$z$是隐变量，表示对应的样本$x$属于哪一个高斯分布，其概率分为如下表：

$z$	$p$
$C_1$	$p_1$
$C_2$	$p_2$
$\cdots$	$\cdots$
$C_k$	$p_k$

可以认为这里的概率$p_k$就是几何角度加权平均中权重，两种角度的解释其实是一个意思。

二、用极大似然估计来求解

$X:observeddata\to X=(x_1,x_2,\cdots ,x_N)$
$(X,Z):comletedata$
θ : p a r a m e t e r → θ = { p 1 , p 2 , ⋯   , p k , μ 1 , μ 2 , ⋯   , μ k , Σ 1 , Σ 2 , ⋯   , Σ k } , ∑ i = 1 K p k = 1 \theta:parameter\rightarrow \theta =\left \{p_{1},p_{2},\cdots ,p_{k},\mu _{1},\mu _{2},\cdots ,\mu _{k},\Sigma _{1},\Sigma _{2},\cdots ,\Sigma _{k}\right \},\sum_{i=1}^{K}p_{k}=1 θ:parameter→θ={ p1​,p2​,⋯,pk​,μ1​,μ2​,⋯,μk​,Σ1​,Σ2​,⋯,Σk​},∑i=1K​pk​=1

以上为我们的数据以及需要求解的参数。接下来我们表示一下概率$p(x)$:

$$\begin{gathered} p(x)=\sum _{z}p(x,z) \\ =\sum _{k=1}^{K}p(x,z=C_k) \\ =\sum _{k=1}^{K}p(z=C_k)\cdot p(x|z=C_k) \\ =\sum _{k=1}^K{p}_k\cdot N(x|{\mu }_k,{\Sigma }_k) \end{gathered}$$

然后我们使用极大似然估计法求解这个参数估计问题，

$$\begin{gathered} {\hat{\theta }}_{MLE}=\underset{\theta }{\mathrm{argmax}}logp(X) \\ =\underset{\theta }{\mathrm{argmax}}log\prod _{i=1}^{N}p(x_i) \\ =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^{N}logp(x_i) \\ =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^{N}log\sum _{k=1}^K{p}_k\cdot N(x_i|{\mu }_k,{\Sigma }_k) \end{gathered}$$

极大似然估计法不能得到解析解的原因为$log$函数内部出现了求和符号。当然我们可以使用梯度下降法来进行求解，但是对于含有隐变量的模型来说使用EM算法是更为合适的。

三、使用EM算法求解

由于使用EM算法需要用到联合概率$p(x,z)$和后验$p(z|x)$，所有我们首先写出这两个概率的表示：

$$\begin{gathered} p(x,z)=p(z)p(x|z)=p_z\cdot N(x|{\mu }_z,{\Sigma }_z) \\ p(z|x)=\frac{p(x,z)}{p(x)}=\frac{p_z\cdot N(x|{\mu }_z}{{\sum }_{k=1}^K{p}_k\cdot N(x|{\mu }_k,{\Sigma }_k)} \end{gathered}$$