GMM和EM算法详解

混合高斯模型和EM算法

一、单个一维高斯参数学习

  数据集X={ $x_1,x_2.......x_N$},参数为θ={μ，${\sigma }^2$},图像为：

  一维高斯函数的分布如下所示：

$$\begin{array}{r}p(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(\frac{1}{2{\sigma }^2}(x-\mu {)}^2)\end{array}\text{\hspace{1em}(1.1)}$$

  我们通过极大似然法来求解高斯分布的参数θ,即μ和${\sigma }^2$。

  我们可以通过数据集直接得到log似然函数：

$$\begin{array}{rl}P(X|\theta )=& \sum _{i=1}^{N}log\frac{1}{\sqrt{2\pi }\sigma }exp(\frac{1}{2{\sigma }^2}(x_i-\mu {)}^2)\\ & =\sum _{i=1}^N(-\frac{1}{2}log(2\pi )-log\sigma -\frac{1}{2{\sigma }^2}(x_i-\mu {)}^2)\end{array}\text{\hspace{1em}(1.2)}$$

  得到了对数似然函数的表达式，我们就可以根据求导为零得到函数的最优解，并且解出参数的最优值。

  例：我们这边求一个μ。

$$\begin{array}{r}\frac{\partial P(X|\theta )}{\partial \mu }=\sum _{i=1}^N(x_i-\mu )=0\end{array}\text{\hspace{1em}(1.3)}$$

  解出

$$\begin{array}{r}\mu =\frac{\sum _{i=1}^N{x}_i}{N}\end{array}\text{\hspace{1em}(1.4)}$$

二、单个D维高斯分布的参数求解问题

  数据集X={ $x_1,x_2.......x_N$},参数为θ={μ，$\Sigma$},图像为：

  我这边只给出2维的高斯分布图，再高维的不能进行可视化了

  D维高斯函数的分布如下所示：

$$\begin{array}{r}p(x)=\frac{1}{(2\pi {)}^{\frac{D}{2}}|\Sigma {|}^{\frac{1}{2}}}exp(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))\end{array}\text{\hspace{1em}(2.1)}$$

  我们通过极大似然法来求解高斯分布的参数θ,即μ和$\Sigma$。

  首先写出似然函数：

$$\begin{array}{r}P(X|\theta )=\prod _{i=1}^{N}p(x_i|\theta )\end{array}$$

  他所对应的对数似然函数为：

P ( X ∣ θ ) = ∑ i = 1 N l o g p ( x i ∣ θ ) (2.2) \begin{aligned} P(X|θ)=\displaystyle\sum_{i=1}^{N} logp(x_i|θ) \tag{2.2}\\ \end{aligned}