机器学习笔记之高斯混合模型(二)模型求解——尝试使用极大似然估计求解模型参数

引言

上一节介绍了高斯混合模型(Gaussian Mixture Model,GMM)，本节将对高斯混合模型的模型参数进行求解。

回顾：高斯混合模型

从概率生成模型的角度观察，概率模型$P(\mathcal{X})$的生成过程表示如下：

• 引入一个隐变量$\mathcal{Z}$，$\mathcal{Z}$是一个基于参数的离散分布，假设该离散分布的数量为$\mathcal{K}$个，该离散分布的 标签及对应概率分布$P(\mathcal{Z})$ 表示如下：

  $\mathcal{Z}$	$z_1$	$z_2$	$\cdots$	$z_{\mathcal{K}}$
  $P(\mathcal{Z})$	$p_1$	$p_2$	$\cdots$	$p_{\mathcal{K}}$

  并满足：
  $$\sum _{k=1}^{\mathcal{K}}{p}_k=1$$

• 任意$z_j\in \mathcal{Z}$均唯一对应一个高斯分布$\mathcal{N}({\mu }_j,{\Sigma }_j)$，因而共包含$\mathcal{K}$个高斯分布：

  $\mathcal{Z}$	$z_1$	$z_2$	$\cdots$	$z_{\mathcal{K}}$
  $P(x\mid \mathcal{Z}=z_k)$	$\mathcal{N}({\mu }_1,{\Sigma }_1)$	$\mathcal{N}({\mu }_2,{\Sigma }_2)$	$\cdots$	$\mathcal{N}({\mu }_{\mathcal{K}},{\Sigma }_{\mathcal{K}})$

  数学符号表达即：
  $$P(x\mid z_k)\sim \mathcal{N}({\mu }_k,{\Sigma }_k)(k=1,2,\cdots ,\mathcal{K};x\in \mathcal{X})$$

• 则任意样本$x\in \mathcal{X}$的生成过程为：
  $\mathcal{N}(x\mid {\mu }_k,{\Sigma }_k)$表示在高斯分布$\mathcal{N}({\mu }_k,{\Sigma }_k)$中随机生成一个样本点$x$;
  $$P(x)=\sum _{\mathcal{Z}}P(x\mid \mathcal{Z})P(\mathcal{Z})=\sum _{k=1}^{\mathcal{K}}\mathcal{N}(x\mid {\mu }_k,{\Sigma }_k)\cdot p_k$$

• 从而整个样本集合$\mathcal{X}$的生成过程(即概率模型)：
  $$\begin{array}{rl}P(\mathcal{X})& =\sum _{\mathcal{Z}}P(\mathcal{X}\mid \mathcal{Z})P(\mathcal{Z})\\ & =\sum _{k=1}^{\mathcal{K}}P(\mathcal{X}\mid \mathcal{Z}=z_k)P(\mathcal{Z}=z_k\\ & \end{array}$$