EM算法之高斯混合模型详细推导过程

最新推荐文章于 2024-01-25 22:33:49 发布

omadesala

最新推荐文章于 2024-01-25 22:33:49 发布

阅读量1.4w

点赞数 10

分类专栏：机器学习基础概念文章标签： EM 算法高斯混合

本文链接：https://blog.csdn.net/omade/article/details/27194451

版权

基础概念同时被 2 个专栏收录

13 篇文章 4 订阅

订阅专栏

机器学习

2 篇文章 0 订阅

订阅专栏

高斯混合模型

如果有c个高斯分布，并且这k个个高斯分布的选择都符合多项式分布，那么有下面的公式

$p(C_k) = \phi_k$

那么样本x 是一个服从多元高斯分布的随机试验中产生的抽样

$p(\mathbf{x_i}|C_k)\sim \frac{1}{(2\pi)^{\frac{d}{2}}\left | \sum_k \right |^{\frac{1}{2}}}e^{\{-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T\sum_k^{-1}\left ( \mathbf{x_i}-\mu_k \right )\}}$

那么可以写出关于样本值（第i个样本）的概率密度函数,假设一共c个类别

$p(\mathbf{x_i},\mathbf{C})=\sum_{j=0}^{c}p(C_j)p(\mathbf{x_i}|C_j)$

那么我们可以定义m个观测样本的对数似然函数

$log L(\boldsymbol{\mu},\boldsymbol{\sum},\mathbf{C}) = \sum_{i=0}^{m}log(p(\mathbf{x_i},\mathbf{C}))$

$log L(\boldsymbol{\mu},\boldsymbol{\sum},\mathbf{C}) = \sum_{i=0}^{m}log(\sum_{j=0}^{c}p(C_j)p(\mathbf{x_i}|C_j))$

对数复合函数求导公式

$\frac{\partial }{\partial x}log(f(x))=\frac{1}{f(x)}*\frac{\partial }{\partial x}f(x)$

代入上面的值进一步可以写成下面的式子

$log L(\boldsymbol{\mu},\boldsymbol{\sum},\mathbf{C}) = \sum_{i=0}^{m}log(p(\mathbf{x_i},\mathbf{C}))\\\Rightarrow \frac{\partial }{\partial \mu_k}log L(\boldsymbol{\mu},\boldsymbol{\sum},\mathbf{C})=\sum_{i=0}^{m}\frac{1}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \mu_k}p(\mathbf{x_i},\mathbf{C})\\=\sum_{i=0}^{m}\frac{1}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \mu_k}\sum_{j=0}^{c}p(C_j)p(\mathbf{x_i}|C_j)\\$

由于对第k个正态分布的均值求偏导，因此除第k个正态分布外，其他分部不包含第k个正态分布均值的信息，

$\\=\sum_{i=0}^{m}\frac{1}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \mu_k}p(C_j)p(\mathbf{x_i}|C_j)\\$

$\\=\sum_{i=0}^{m}\frac{1}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \mu_k}\sum_{j=0}^{c}p(C_j)p(\mathbf{x_i}|C_j)\\\\=\sum_{i=0}^{m}\frac{p(C_k)}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \mu_k}p(\mathbf{x_i}|C_k)\\$

再利用对数复合函数求导得到

$\\=\sum_{i=0}^{m}\frac{p(C_k)p(\mathbf{x_i}|C_k)}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \mu_i}log(p(\mathbf{x_i}|C_k))$

求和符号后面这一部分看出是什么了吗？这不是条件概率么？

$p(C_k|\mathbf{x_i})=\frac{p(C_k)p(\mathbf{x_i}|C_k)}{p(\mathbf{x_i},\mathbf{C})}$

整理得到

$\frac{\partial }{\partial \mu_k}log L(\boldsymbol{\mu},\boldsymbol{\sum},\mathbf{C})=\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\frac{\partial }{\partial \mu_k}log(p(\mathbf{x_i}|C_k))$

对多元正态分布函数取对数

$p(\mathbf{x_i}|C_k)\sim \frac{1}{2\pi^{\frac{d}{2}}\left | \sum \right |^{\frac{1}{2}}}e^{\{-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T\sum^{-1}\left ( \mathbf{x_i}-\mu_k \right )\}}\\\\log p(\mathbf{x_i}|C_k)= log( \frac{1}{2\pi^{\frac{d}{2}}\left | \sum \right |^{\frac{1}{2}}}e^{\{-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T\sum^{-1}\left ( \mathbf{x_i}-\mu_k \right )\}})\\\\=log( \frac{1}{2\pi^{\frac{d}{2}}\left | \sum \right |^{\frac{1}{2}}})+log(e^{\{-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T\sum^{-1}\left ( \mathbf{x_i}-\mu_k \right )\}})\\\\=log( \frac{1}{2\pi^{\frac{d}{2}}\left | \sum \right |^{\frac{1}{2}}})-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T{\sum}^{-1}\left ( \mathbf{x_i}-\mu_k \right )$

对多元正态分布函数取对数后求第k个分量均值的偏导数

$\frac{\partial }{\partial \mu_k}log(p(\mathbf{x_i}|C_k))=\frac{\partial }{\partial \mu_k}(log( \frac{1}{2\pi^{\frac{d}{2}}\left | \sum \right |^{\frac{1}{2}}})-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T{\sum}^{-1}\left ( \mathbf{x_i}-\mu_k \right ))\\\\=\frac{\partial }{\partial \mu_k}(-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T{\sum}^{-1}\left ( \mathbf{x_i}-\mu_k \right ))$

如果令 $\mathbf{Y}=\mathbf{x_i}-\mu_k,\mu_k=\mathbf{x_i}-\mathbf{Y}$ ,那么进一步得到

$\\\\=-\frac{1}{2}\frac{\partial }{\partial \mu_i}\left ( \mathbf{x_i}-\mu_k \right )^T{\sum}^{-1}\left ( \mathbf{x_k}-\mu_k \right )\\\\=-\frac{1}{2}\frac{\partial }{\partial\mathbf{Y}}\left(\mathbf{Y}^T{\sum}^{-1}\mathbf{Y}\right)\frac{\partial\mathbf{Y} }{\partial \mu_k}$

其中

$\frac{\partial }{\partial\mathbf{Y}}\left(\mathbf{Y}^T{\sum}^{-1}\mathbf{Y}\right)={\sum}^{-1}Y+({\sum}^{-1})^TY=\left ({\sum}^{-1}+({\sum}^{-1})^T \right )Y$

$\frac{\partial\mathbf{Y} }{\partial \mu_k}=\frac{\partial\left ( \mathbf{x_i}-\mu_k \right ) }{\partial \mu_k}=\frac{\partial \mathbf{x_i} }{\partial \mu_k}-\frac{\partial \mu_k }{\partial \mu_k}=0-1=-1$

将该结论代入上面的公式整理得到

$\\\frac{\partial }{\partial \mu_k}log(p(\mathbf{x_i}|C_k))=-\frac{1}{2}\left ( {\sum}^{-1}+\left ( {\sum}^{-1} \right )^T \right )Y\left ( -1 \right )\\\\=\frac{\left ( {\sum}^{-1}+\left ( {\sum}^{-1} \right )^T \right )\left ( \mathbf{x_i}-\mu_k \right )}{2}$

$\frac{\partial }{\partial \mu_k}log L(\boldsymbol{\mu},\boldsymbol{\sum},\mathbf{C})=\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\frac{\left ( {\sum}^{-1}+\left ( {\sum}^{-1} \right )^T \right )\left ( \mathbf{x_i}-\mu_k \right )}{2}$

我们要最大化释然函数，必然要求对各个估计参数的偏导要等于0

$\\\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\left ( {\sum}^{-1}+\left ( {\sum}^{-1} \right )^T \right )\left ( \mathbf{x_i}-\mu_k \right )=0\\\left ( {\sum}^{-1}+\left ( {\sum}^{-1} \right )^T \right )\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\left ( \mathbf{x_i}-\mu_k \right )=0$

其中 $\left ( {\sum}^{-1}+\left ( {\sum}^{-1} \right )^T \right )\neq 0$ ,那么得到

$\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\left ( \mathbf{x_i}-\mu_k \right )=0$

解出

$\\\sum_{i=0}^{m}\left( p(C_k|\mathbf{x_i})\mathbf{x_i}-p(C_k|\mathbf{x_i})\mu_k \right )=0\\\\\sum_{i=0}^{m} p(C_k|\mathbf{x_i})\mathbf{x_i}=\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\mu_k\\\\\sum_{i=0}^{m} p(C_k|\mathbf{x_i})\mathbf{x_i}=\mu_k\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\\\\\mu_k=\frac{\sum_{i=0}^{m} p(C_k|\mathbf{x_i})\mathbf{x_i}}{\sum_{i=0}^{m}p(C_k|\mathbf{x_i})}\\\\$

下面对第K个分量的方差求偏导

$log L(\boldsymbol{\mu},\boldsymbol{\sum},\mathbf{C}) = \sum_{i=0}^{m}log(p(\mathbf{x_i},\mathbf{C}))\\\\\frac{\partial }{\partial \sum_k}log L(\boldsymbol{\mu},\boldsymbol{\sum},\mathbf{C})=\sum_{i=0}^{m}\frac{1}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \sum_k}p(\mathbf{x_i},\mathbf{C})\\\\=\sum_{i=0}^{m}\frac{1}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \sum_k}\sum_{j=0}^{c}p(C_j)p(\mathbf{x_i}|C_j)\\$

第k个分量更其他的不相关，因此对第k个分量求方差的偏导有下面的公式

$\frac{\partial }{\partial \sum_k}log L(\boldsymbol{\mu},\boldsymbol{\sum},\mathbf{C})=\sum_{i=0}^{m}\frac{1}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \sum_k}p(C_k)p(\mathbf{x_i}|C_k)\\\\=\sum_{i=0}^{m}\frac{p(C_k)}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \sum_k}p(\mathbf{x_i}|C_k)\\\\=\sum_{i=0}^{m}\frac{p(C_k)p(\mathbf{x_i}|C_k)}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \sum_k}logp(\mathbf{x_i}|C_k)\\$

$\\log p(\mathbf{x_i}|C_k)= -log( 2\pi^{\frac{d}{2}}\left | \sum_k \right |^{\frac{1}{2}})-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T{\sum}_{k}^{-1}\left ( \mathbf{x_i}-\mu_k \right )\\\\\frac{\partial }{\partial \boldsymbol{\sum_k}}log(p(\mathbf{x_i}|C_k))=\frac{\partial }{\partial \boldsymbol{\sum_k}}\left ( -log( 2\pi^{\frac{d}{2}}\left | \sum_k \right |^{\frac{1}{2}}) \right )-\frac{1}{2}\frac{\partial }{\partial \boldsymbol{\sum_k}}\left ( \left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right ) \right )\\\\=\frac{\partial }{\partial \boldsymbol{\sum_k}}\left (-log\left ( 2\pi^{\frac{d}{2}}\right )-\frac{1}{2}log(\left | \sum_k \right |) \right )-\frac{1}{2}\frac{\partial }{\partial \boldsymbol{\sum_k}}\left ( \left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right ) \right )$

$=\frac{\partial }{\partial \boldsymbol{\sum_k}}\left ( -\frac{1}{2}log(\left | \sum_k \right |) \right )-\frac{1}{2}\frac{\partial }{\partial \boldsymbol{\sum_k}}\left ( \left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right ) \right )\\\\$

利用如下公式

$\frac{d}{dA}log\left|A \right |=(A^{-1})^T$

$=-\frac{1}{2}({{\sum}}_k^{-1})^T-\frac{1}{2}\frac{\partial }{\partial \boldsymbol{\sum_k}}\left (\left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right ) \right )\\\\$

由于 $\left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right )$ 是标量，因此标量的迹等于自己，得到下面的公式

$\left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right )=tr\left ( \left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right ) \right )$

再利用迹的性质

$\\tr\left ( ABC \right )=tr\left ( CAB \right )=tr\left ( BCA \right )\\\\\frac{dtr(BA)}{dA}=B^T\\\frac{d tr\left ( A^{-1}B \right )}{dA}=-\left ( A^{-1}\right )^TB\left ( A^{-1} \right )^T$

那么利用这个策略可以得到下面的结论

$\\\left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right )=tr\left (\left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1} \right )$

$\\\left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right )=tr\left (\left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1} \right )=tr\left ( {{\sum}}_k^{-1}\left (\mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )$

$\\\frac{\partial }{\partial {\sum}_k}\left ( \left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right ) \right )=\frac{\partial }{\partial {\sum}_k}tr\left ( {{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )$

$\\\\=-\left ( {{\sum}}_k^{-1} \right )^T\left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )\left ( {{\sum}}_k^{-1} \right )^T \right )$

经过这么多的计算后，终于可以得到对第k个分量求协方差的偏导了

$\\\frac{\partial }{\partial \boldsymbol{\sum_k}}log(p(\mathbf{x_i}|C_k))=\frac{\partial }{\partial \boldsymbol{\sum_k}}\left ( -\frac{1}{2}log(\left | \sum_k \right |) \right )-\frac{1}{2}\frac{\partial }{\partial \boldsymbol{\sum_k}}\left ( \left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right ) \right )$

$\\\\=-\frac{1}{2}\left ( {{\sum}}_k^{-1} \right )^T- \frac{1}{2}\left ( -\left ( {{\sum}}_k^{-1} \right )^T\left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )\left ( {{\sum}}_k^{-1} \right )^T \right ) \right )$

$\\\\=\frac{1}{2}\left ( \left ( {{\sum}}_k^{-1} \right )^T\left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )\left ( {{\sum}}_k^{-1} \right )^T-\left ({{\sum}}_k^{-1} \right )^T \right ) \right )\\\\$

那么似然函数对第k个分量的协方差的偏导如下：

$\\\sum_{i=0}^{m}\frac{p(C_k)p(\mathbf{x_i}|C_k)}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \sum_k}logp(\mathbf{x_i}|C_k)\\\\=\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\frac{\partial }{\partial \sum_k}logp(\mathbf{x_i}|C_k)\\\\=\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\left ( \frac{1}{2}\left ( \left ( {{\sum}}_k^{-1} \right )^T\left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )\left ( {{\sum}}_k^{-1} \right )^T-\left ({{\sum}}_k^{-1} \right )^T \right ) \right ) \right )\\\\=\frac{1}{2}\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \left ( \left ( {{\sum}}_k^{-1} \right )^T\left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )\left ( {{\sum}}_k^{-1} \right )^T-\left ({{\sum}}_k^{-1} \right )^T \right ) \right )\\\\$

要使得似然函数取最大，就要使得对协方差的偏导为0，那么有如下结论：

$\\\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \left ( \left ( {{\sum}}_k^{-1} \right )^T\left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )\left ( {{\sum}}_k^{-1} \right )^T-\left ({{\sum}}_k^{-1} \right )^T \right ) \right )\\\\=\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \left ( {{\sum}}_k^{-1} \right )^T\left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )\left ( {{\sum}}_k^{-1} \right )^T-\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\left ({{\sum}}_k^{-1} \right )^T \right ) \\\\$

因为对协方差的偏导为0，那么有下面结论

$\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \left ( {{\sum}}_k^{-1} \right )^T\left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )\left ( {{\sum}}_k^{-1} \right )^T=\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\left ({{\sum}}_k^{-1} \right )^T \right ) \\\\$

这里的协方差是一个实对称正，因此其转置等于自身，为什么是对称的呢？

对上面式子左乘和右乘一个协方差阵得到：

$\\\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \left ( {{\sum}}_k^{-1} \right )\left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )\left ( {{\sum}}_k^{-1} \right )=\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\left ({{\sum}}_k^{-1} \right ) \\\\\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \left ( {{\sum}}_k^{-1} \right )\left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )=\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \\\\\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )={{\sum}}_k \sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \\\\$

那么可以得到如下关于协方差的值，使得释然函数最大

${{\sum}}_k=\frac{\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )}{\sum_{i=0}^{m}p(C_k|\mathbf{x_i})} \\\\$

到这里已经把混合高斯分布关于均值和协方差的参数值求出来了，下面还剩一个关于k个分量的比例的问题了

$\\\\log p(\mathbf{x_i}|C_k)=log( \frac{1}{2\pi^{\frac{d}{2}}\left | \sum \right |^{\frac{1}{2}}})-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T{\sum}^{-1}\left ( \mathbf{x_i}-\mu_k \right )$

现在来看在各个分量的条件下要使得释然函数最大，这是一个优化问题

$\left\{\begin{matrix}L\left ( \boldsymbol{\mu},\boldsymbol{\sum} ,\mathbf{C}\right )=\sum_{i=0}^{m}p(C_k|\mathbf{x_i})log(p(\mathbf{x_i}|C_k))\\ p(C_j)>0,j=1,2,\hdots,c;\\ \sum_{j=0}^cp(C_j)=1; \end{matrix}\right.$

那么需要利用拉格朗日方法来求关于分量的估计

构造拉格朗日目标函数如下：

$\\Lagrange = L\left ( \boldsymbol{\mu},\boldsymbol{\sum} ,\mathbf{C}\right )+\lambda \left ( \sum_{j=1}^c p(C_j)-1 \right )\\\frac{\partial Lagrange }{\partial p(C_k) } = \frac{\partial }{\partial p(C_k) }L\left ( \boldsymbol{\mu},\boldsymbol{\sum} ,\mathbf{C}\right )+\frac{\partial }{\partial p(C_k) }\lambda \left ( \sum_{j=1}^c p(C_j)-1 \right )\\\frac{\partial Lagrange }{\partial p(C_k) } = \frac{\partial }{\partial p(C_k) }L\left ( \boldsymbol{\mu},\boldsymbol{\sum} ,\mathbf{C}\right )+\lambda$

对拉格朗日目标函数求分量的偏导

$\\\frac{\partial }{\partial p(C_k) }L\left ( \boldsymbol{\mu},\boldsymbol{\sum} ,\mathbf{C}\right )=\frac{\partial }{\partial p(C_k) }\sum_{i=0}^mlog\left ( \sum_{j=0}^cp(C_j)p(\mathbf{x_i}|C_j) \right )\\= \sum_{i=0}^m \frac{1}{\sum_{j=0}^cp(C_j)p(\mathbf{x_i}|C_j)}\frac{\partial }{\partial p(C_k) }\left ( \sum_{j=0}^cp(C_j) p(\mathbf{x_i}|C_j)\right )\\\\= \sum_{i=0}^m \frac{p(\mathbf{x_i}|C_k)}{\sum_{j=0}^cp(C_j)p(\mathbf{x_i}|C_j)} = \sum_{i=0}^m \frac{1}{p(C_k)}\frac{p(C_k)p(\mathbf{x_i}|C_k)}{\sum_{j=0}^cp(C_j)p(\mathbf{x_i}|C_j)}\\\\= \sum_{i=0}^m \frac{1}{p(C_k)}p(C_k|\mathbf{x_i}) \\\\$

上面是利用了对数求导的性质

那么要使得拉格朗日目标函数取得0，有下面的结论

$\\\frac{\partial Lagrange}{p(C_k)}= \sum_{i=0}^m \frac{1}{p(C_k)}p(C_k|\mathbf{x_i}) + \lambda=0 \\\\$

整理得到

$\\\frac{\partial Lagrange}{p(C_k)}= \sum_{i=0}^m \frac{1}{p(C_k)}p(C_k|\mathbf{x_i}) + \lambda=0 \\\\\\\sum_{i=0}^m p(C_k|\mathbf{x_i}) + \lambda p(C_k)=0 \\\sum_{i=0}^m p(C_k|\mathbf{x_i}) =- \lambda p(C_k) \\ \lambda =- \frac{\sum_{i=0}^m p(C_k|\mathbf{x_i})}{p(C_k) }$

由于有 $\\\sum_{j=0}^c p(C_j)=1$ 条件，那么进一步得到

$\\ p(C_k) =- \frac{\sum_{i=0}^m p(C_k|\mathbf{x_i})}{\lambda } \\ \sum_{k=0}^c p(C_k) =\sum_{k=0}^c- \frac{\sum_{i=0}^m p(C_k|\mathbf{x_i})}{\lambda } \\ \sum_{k=0}^c p(C_k) = -\frac{1}{\lambda} \sum_{k=0}^c\sum_{i=0}^m p(C_k|\mathbf{x_i})=1\\ \lambda=- \sum_{k=0}^c\sum_{i=0}^m p(C_k|\mathbf{x_i})$

将这个结果带人第k个分量得到

$\\ p(C_k) =- \frac{\sum_{i=0}^m p(C_k|\mathbf{x_i})}{\lambda } \\ p(C_k) = \frac{\sum_{i=0}^m p(C_k|\mathbf{x_i})}{ \sum_{k=0}^c\sum_{i=0}^m p(C_k|\mathbf{x_i}) } \\\\ p(C_k) = \frac{\sum_{i=0}^m p(C_k|\mathbf{x_i})}{ m }$

其中

$p(C_k|\mathbf{x_i})=\frac{p(\mathbf{x_i}|C_k)p(C_k)}{\sum_{j=0}^c p(\mathbf{x_i}|C_j)p(C_j)}$

自此，得到了关于均值，协方差，和分量这三个参数的估计公式，总结如下

$\\\mu_k=\frac{\sum_{i=0}^{m} p(C_k|\mathbf{x_i})\mathbf{x_i}}{\sum_{i=0}^{m}p(C_k|\mathbf{x_i})}\\\\{{\sum}}_k=\frac{\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )}{\sum_{i=0}^{m}p(C_k|\mathbf{x_i})} \\\\ p(C_k) = \frac{\sum_{i=0}^m p(C_k|\mathbf{x_i})}{ m } \\\\p(C_k|\mathbf{x_i})=\frac{p(\mathbf{x_i}|C_k)p(C_k)}{\sum_{j=0}^c p(\mathbf{x_i}|C_j)p(C_j)}$

到这里，理论的推导似乎已经完成了，但是事情还没有结束

从上面的结论看，均值，方差阵，和分量概率的估计都用到了 $p(C_k|\mathbf{x_i})$ ,这是估计一个点由某一个分量生成的概率

为了得到这个概率，我们又要用到

$p(\mathbf{x_i}|C_k)\sim \frac{1}{2\pi^{\frac{d}{2}}\left | \sum \right |^{\frac{1}{2}}}e^{\{-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T\sum^{-1}\left ( \mathbf{x_i}-\mu_k \right )\}}$

其中又包含了我们待估计的均值，方差阵等参数，这样就是会产生一个互相依赖的情况，鸡依赖蛋，蛋依赖鸡的问题，对这种问题，一般的解决办法先弄一个蛋来孵化一个鸡出来，然后在让这只鸡来孵化蛋，不管先出现那一个，后面的一个都是跟着相应的变化，最后得到答案来。

想一下坐标上升法里面的做法，先固定其他的量，求其中一个参数的最大值，然后依次轮换坐标来求最大，最后会得到一个

稳定的值，只不过这个极值是局部的，后面专门讲EM算法会专门讲这个问题，这里就先用这个思想来处理

现在来看看具体的求某一个点由某个分量生成的概率

$\\p(C_k|\mathbf{x_i})=\frac{p(\mathbf{x_i}|C_k)p(C_k)}{\sum_{j=0}^c p(\mathbf{x_i}|C_j)p(C_j)}\\\\p(C_k|\mathbf{x_i})=\frac{\frac{1}{2\pi^{\frac{d}{2}}\left | \sum_k \right |^{\frac{1}{2}}}e^{\{-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T\sum_k^{-1}\left ( \mathbf{x_i}-\mu_k \right )\}}\phi_k}{\sum_{j=0}^c \frac{1}{2\pi^{\frac{d}{2}}\left | \sum_j \right |^{\frac{1}{2}}}e^{\{-\frac{1}{2}\left ( \mathbf{x_i}-\mu_j \right )^T\sum_j^{-1}\left ( \mathbf{x_i}-\mu_j \right )\}}\phi_j}$

为了让蛋孵鸡，鸡生蛋，我们需要先要弄一个蛋出来，这个蛋就是，均值，方差阵，分量概率的初始值

下面把流程总结一下

先构造一个鸡蛋出来
$\\ \phi_k = \frac{1}{k},\mu_k = \mathbf{I},{\sum}_k=\mathbf{I},k=1,2,...c,$
计算某个点由某个分量生成的概率（孵小鸡），直到收敛
$\\\\p(C_k|\mathbf{x_i})=\frac{\frac{1}{2\pi^{\frac{d}{2}}\left | \sum_k \right |^{\frac{1}{2}}}e^{\{-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T\sum_k^{-1}\left ( \mathbf{x_i}-\mu_k \right )\}}\phi_k}{\sum_{j=0}^c \frac{1}{2\pi^{\frac{d}{2}}\left | \sum_j \right |^{\frac{1}{2}}}e^{\{-\frac{1}{2}\left ( \mathbf{x_i}-\mu_j \right )^T\sum_j^{-1}\left ( \mathbf{x_i}-\mu_j \right )\}}\phi_j}$
重新构造鸡蛋（鸡生蛋）
$\\\mu_k=\frac{\sum_{i=0}^{m} p(C_k|\mathbf{x_i})\mathbf{x_i}}{\sum_{i=0}^{m}p(C_k|\mathbf{x_i})}\\\\{{\sum}}_k=\frac{\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )}{\sum_{i=0}^{m}p(C_k|\mathbf{x_i})} \\\\ \phi_k = p(C_k) = \frac{\sum_{i=0}^m p(C_k|\mathbf{x_i})}{ m }$
跳转到第二步

但是为了理解上得方便，这里给出一个二维情况下得例子

假设有3个分量，分别如下

$\\p(x_i|C_k) \sim \mathit{N}(\mu_1,\mu_2,\delta_1,\delta_2,\rho)\\\\\\p(x_i|C_1) \sim \mathit{N}(1,1,0.6,1.2,0.2)\\p(x_i|C_2) \sim \mathit{N}(2,3,1,1,-0.2)\\p(x_i|C_3) \sim \mathit{N}(1,4,2,2,0.5)$

注意事项：

1. 初始值的选择

分量要做归一化处理

均值可以随机产生

方差，需要保证是对称阵和行列式大于0,也就是正定阵，非奇异性

否则计算会错误

2. 样本点数小于特征数量

计算的协方差阵是奇异的，因此需要对协方差做相应的假设，比如是对角阵甚至是对角阵元素相同

这种假设过强，忽略了特征直接的依赖关系，当对角阵元素都相同的时候，就退化成特征直接是独立的了

因此可以考虑其他的如因子分析等方法

参考如下：

http://www.cnblogs.com/jerrylead/archive/2011/05/11/2043317.html

详细推导过程

http://www.cs.cmu.edu/~awm/doc/gmm-algebra.pdf

http://www.docin.com/p-110400201.html

http://en.wikipedia.org/wiki/Matrix_calculus

http://www.myexception.cn/software/968521.html

omadesala

关注

10
点赞
踩
33

收藏

觉得还不错? 一键收藏
3
评论
EM算法之高斯混合模型详细推导过程

高斯混合模型如果有c个高斯分布，并且这k个个高斯分布的选择都符合多项式分布，那么有下面的公式那么样本x 是一个服从多元高斯分布的随机试验中产生的抽样那么可以写出关于样本值（第i个样本）的概率密度函数,假设一共c个类别那么我们可以定义m个观测样本的对数似然函数对数复合函数求导公式代入上面的值进一步可以写成下面的式子由于对第k个正态分布的均值求偏导，因此除第k个正态分布外，其他分部不包含第k个正态分布...
复制链接

扫一扫