（《机器学习》完整版系列）第9章 聚类——9.4 高斯混合模型EM算法详细推导

上篇博我们给出了高斯混合模型EM算法，这里我们对它的公式进行详细推导.

高斯混合模型EM算法推导

在7.10 EM算法的使用场景及步骤中，我们给出了一般的EM算法步聚，在具体应用时，关键是要构造出该方法所需的要素，然后直接套用它即可。 这里符合指出的没有缺失属性（隐变量）的情况，有有（I）和（II）两种办法处理。

【西瓜书】就是按（I）处理：即在极大（对数）似然过程中“凑出”递推式，转化为EM算法。

（1）参数$\mathbf{\mu }$

由【西瓜书式(9.28)】有
$$\begin{array}{rl}\frac{\partial p(\mathbf{x})}{\partial \mathbf{\mu }}& =p(\mathbf{x})\frac{-\frac{1}{2}\partial (\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })}{\partial \mathbf{\mu }}\\ & =-p(\mathbf{x}){\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\text{（由【西瓜书式(A.32】）)}\end{array}\text{\hspace{1em}(9.3)}$$

将式(9.3)用于$p({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)$

，即
$$\begin{array}{r}\frac{\partial p({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)}{\partial {\mathbf{\mu }}_i}=-p({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i){\mathbf{\Sigma }}_i^{-1}({\mathbf{x}}_j-{\mathbf{\mu }}_i)\end{array}\text{\hspace{1em}(9.4)}$$

由【西瓜书式(9.32)】有
$$\begin{array}{rl}\frac{\partial \mathrm{LL}(D)}{\partial {\mathbf{\mu }}_i}& =\sum _{j=1}^m\frac{\partial \ln ({\sum }_{i=1}^k{\alpha }_{i}p({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i))}{\partial {\mathbf{\mu }}_i}\\ & =\sum _{j=1}^m\frac{{\alpha }_i}{{\sum }_{i=1}^k{\alpha }_{i}p({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)}\frac{\partial p({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)}{\partial {\mathbf{\mu }}_i}\\ & =-\sum _{j=1}^m\frac{{\alpha }_{i}p({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)}{{\sum }_{i=1}^k{\alpha }_{i}p({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)}{\mathbf{\Sigma }}_i^{-1}({\mathbf{x}}_j-{\mathbf{\mu }}_i)\text{（由式(9.4)）}\\ & =-{\mathbf{\Sigma }}_i^{-1}\sum _{j=1}^m{\gamma }_{ji}({\mathbf{x}}_j-{\mathbf{\mu }}_i)\end{array}\text{\hspace{1em}(9.5)}$$
其中
$$\begin{array}{r}{\gamma }_{ji}=\frac{{\alpha }_{i}p({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)}{{\sum }_{i=1}^k{\alpha }_{i}p({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)}\end{array}\text{\hspace{1em}(9.6)}$$
式中${\mathbf{\Sigma }}_i$不是求和符号，而是协方差（矩阵）。

注：这里既有$\mathbf{\Sigma }$又有$\sum$，请注意区别：$\mathbf{\Sigma }$不是求和符号，而是协方差矩阵。

令$\frac{\partial \mathrm{LL}(D)}{\partial {\mathbf{\mu }}_i}=0$，两边乘以$\mathbf{\Sigma }$，则由式(9.5)得
$$\begin{array}{r}\sum _{j=1}^m{\gamma }_{ji}({\mathbf{x}}_j-{\mathbf{\mu }}_i)=0\\ \sum _{j=1}^m{\gamma }_{ji}{\mathbf{x}}_j={\mathbf{\mu }}_i\sum _{j=1}^m{\gamma }_{ji}\end{array}\text{\hspace{1em}(9.7)}$$

以当前（$t$时）的参数值$({\alpha }_i^t,{\mathbf{\mu }}_i^t,{\mathbf{\Sigma }}_i^t)$，根据【西瓜书式(9.28)】即可计算出此时的式(9.6)的值
$$\begin{array}{r}{\gamma }_{ji}^t=\frac{{\alpha }_i^{t}p({\mathbf{x}}_j|{\mathbf{\mu }}_i^t,{\mathbf{\Sigma }}_i^t)}{{\sum }_{i=1}^k{\alpha }_i^{t}p({\mathbf{x}}_j|{\mathbf{\mu }}_i^t,{\mathbf{\Sigma }}_i^t)}\end{array}\text{\hspace{1em}(9.8)}$$

由式(9.8)的已知，代入等式(9.7)，得下一时刻需求解的$\mathbf{\mu }$，这样就“凑”成了递推式（将等式变为递推式）
$$\begin{array}{r}\sum _{j=1}^m{\gamma }_{ji}^t{\mathbf{x}}_j={\mathbf{\mu }}_i^{t+1}\sum _{j=1}^m{\gamma }_{ji}^t\end{array}\text{\hspace{1em}(9.9)}$$
即
$$\begin{array}{r}{\mathbf{\mu }}_i^{t+1}=\frac{{\sum }_{j=1}^m{\gamma }_{ji}^t{\mathbf{x}}_j}{{\sum }_{j=1}^m{\gamma }_{ji}^t}\end{array}\text{\hspace{1em}(9.10)}$$
即【西瓜书式(9.34)】。

（2）参数$\mathbf{\Sigma }$
$$\begin{array}{rl}\frac{\partial |\mathbf{\Sigma }{|}^{-\frac{1}{2}}}{\partial \mathbf{\Sigma }}& =-\frac{1}{2}|\mathbf{\Sigma }{|}^{-\frac{1}{2}}{\mathbf{\Sigma }}^{-\mathrm{T}}\text{（由式(A86)）}\\ & =-\frac{1}{2}|\mathbf{\Sigma }{|}^{-\frac{1}{2}}{\mathbf{\Sigma }}^{-1}\text{（由Σ的对称性）}\end{array}\text{\hspace{1em}(9.11)}$$
其中用到公式（参见5、含矩阵的偏导数）：
$$\begin{array}{r}\frac{\partial |\mathbf{A}{|}^{-\frac{1}{2}}}{\partial \mathbf{A}}=-\frac{1}{2}|\mathbf{A}{|}^{-\frac{1}{2}}{\mathbf{A}}^{-\mathrm{T}}\end{array}\text{\hspace{1em}(A86)}$$
$$\begin{array}{rl}& \frac{\partial (\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })}{\partial \mathbf{\Sigma }}\\ & =\frac{\partial \mathrm{tr}((\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu }))}{\partial \mathbf{\Sigma }}\\ & =\frac{\partial \mathrm{tr}((\mathbf{x}-\mathbf{\mu })(\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1})}{\partial \mathbf{\Sigma }}\\ & =-{\mathbf{\Sigma }}^{-\mathrm{T}}((\mathbf{x}-\mathbf{\mu })(\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-\mathrm{T}}\text{（由式(A80)）}\\ & =-{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })(\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}\text{（由Σ的对称性）}\end{array}\text{\hspace{1em}(9.12)}$$
其中用到公式（参见5、含矩阵的偏导数）：
$$\begin{array}{r}\frac{\partial \mathrm{tr}(\mathbf{B}{\mathbf{A}}^{-1})}{\partial \mathbf{A}}=-({\mathbf{A}}^{-1}\mathbf{B}{\mathbf{A}}^{-1}{)}^{\mathrm{T}}\end{array}\text{\hspace{1em}(A80)}$$
利用式(9.11)、式(9.12)，求【西瓜书式(9.28)】关于矩阵$\mathbf{\Sigma }$的偏导数，有
$$\begin{array}{rl}& \frac{\partial P(\mathbf{x})}{\partial \mathbf{\Sigma }}\\ & =\frac{\partial (2\pi {)}^{-\frac{n}{2}}|\mathbf{\Sigma }{|}^{-\frac{1}{2}}\exp \left(-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right)}{\partial \mathbf{\Sigma }}\\ & =\frac{\partial (2\pi {)}^{-\frac{n}{2}}|\mathbf{\Sigma }{|}^{-\frac{1}{2}}}{\partial \mathbf{\Sigma }}\exp \left(-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right)\\ & +(2\pi {)}^{-\frac{n}{2}}|\mathbf{\Sigma }{|}^{-\frac{1}{2}}\frac{\partial \exp \left(-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right)}{\partial \mathbf{\Sigma }}\\ & =(2\pi {)}^{-\frac{n}{2}}(-\frac{1}{2}|\mathbf{\Sigma }{|}^{-\frac{1}{2}}{\mathbf{\Sigma }}^{-1})\exp \left(-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right)\\ & +(2\pi {)}^{-\frac{n}{2}}|\mathbf{\Sigma }{|}^{-\frac{1}{2}}\exp \left(-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right)\frac{\partial (-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu }))}{\partial \mathbf{\Sigma }}\\ & =-\frac{1}{2}P(\mathbf{x})({\mathbf{\Sigma }}^{-1})+P(\mathbf{x})\left(-\frac{1}{2}(-{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })(\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1})\right)\\ & =\frac{1}{2}P(\mathbf{x}){\mathbf{\Sigma }}^{-1}\left(-\mathbf{\Sigma }+(\mathbf{x}-\mathbf{\mu })(\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}\right){\mathbf{\Sigma }}^{-1}\end{array}\text{\hspace{1em}(9.13)}$$
将式(9.13)应用于$P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)$，有
$$\begin{array}{rl}\frac{\partial P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)}{\partial {\mathbf{\Sigma }}_i}& =\frac{1}{2}P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i){\mathbf{\Sigma }}_i^{-1}[({\mathbf{x}}_j-{\mathbf{\mu }}_i)({\mathbf{x}}_j-{\mathbf{\mu }}_i{)}^{\mathrm{T}}-{\mathbf{\Sigma }}_i]{\mathbf{\Sigma }}_i^{-1}\end{array}\text{\hspace{1em}(9.14)}$$

利用式(9.14)，再求【西瓜书式(9.32)】关于矩阵${\mathbf{\Sigma }}_i$的偏导数，有
$$\begin{array}{rl}\frac{\partial \mathrm{LL}(D)}{\partial {\mathbf{\Sigma }}_i}& =\sum _{j=1}^m\frac{\partial \ln ({\sum }_{i=1}^k{\alpha }_{i}p({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i))}{\partial {\mathbf{\Sigma }}_i}\\ & =\sum _{j=1}^m\frac{{\alpha }_i}{({\sum }_{i=1}^k{\alpha }_{i}p({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i))}\frac{\partial P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)}{\partial {\mathbf{\Sigma }}_i}\text{（下式由式(9.14)）}\\ & =\frac{1}{2}\sum _{j=1}^m\frac{{\alpha }_{i}P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)}{({\sum }_{i=1}^k{\alpha }_{i}p({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i))}{\mathbf{\Sigma }}_i^{-1}[({\mathbf{x}}_j-{\mathbf{\mu }}_i)({\mathbf{x}}_j-{\mathbf{\mu }}_i{)}^{\mathrm{T}}-{\mathbf{\Sigma }}_i]{\mathbf{\Sigma }}_i^{-1}\\ & =\frac{1}{2}\sum _{j=1}^m{\gamma }_{ji}[{\mathbf{\Sigma }}_i^{-1}({\mathbf{x}}_j-{\mathbf{\mu }}_i)({\mathbf{x}}_j-{\mathbf{\mu }}_i{)}^{\mathrm{T}}{\mathbf{\Sigma }}_i^{-1}-{\mathbf{\Sigma }}_i^{-1}]\text{（由式(9.6)）}\\ & =\frac{1}{2}{\mathbf{\Sigma }}_i^{-1}\left(\sum _{j=1}^m{\gamma }_{ji}[({\mathbf{x}}_j-{\mathbf{\mu }}_i)({\mathbf{x}}_j-{\mathbf{\mu }}_i{)}^{\mathrm{T}}-{\mathbf{\Sigma }}_i]\right){\mathbf{\Sigma }}_i^{-1}\end{array}\text{\hspace{1em}(9.15)}$$

令$\frac{\partial \mathrm{LL}(D)}{\partial {\mathbf{\Sigma }}_i}=0$，得
$$\begin{array}{r}\sum _{j=1}^m{\gamma }_{ji}({\mathbf{x}}_j-{\mathbf{\mu }}_i)({\mathbf{x}}_j-{\mathbf{\mu }}_i{)}^{\mathrm{T}}={\mathbf{\Sigma }}_i\sum _{j=1}^m{\gamma }_{ji}\end{array}\text{\hspace{1em}(9.16)}$$
同式(9.9)的方法，由等式“凑”出递推式
$$\begin{array}{r}{\mathbf{\Sigma }}_i^{t+1}=\frac{{\sum }_{j=1}^m{\gamma }_{ji}^t({\mathbf{x}}_j-{\mathbf{\mu }}_i^t)({\mathbf{x}}_j-{\mathbf{\mu }}_i^t{)}^{\mathrm{T}}}{{\sum }_{j=1}^m{\gamma }_{ji}^t}\end{array}\text{\hspace{1em}(9.17)}$$
即【西瓜书式(9.35)】，该式为矩阵。

（3）参数$\alpha$

在$\mathrm{LL}(D)$中若将混合系数${\alpha }_i$视为变量，则它有约束：${\alpha }_i>0,{\sum }_{i=1}^k{\alpha }_i=1$，故需要拉格朗日乘数法，由此得到拉格朗日函数【西瓜书式(9.36)】，令其对$\alpha$的导数为0，则得到【西瓜书式(9.37)】。

观察【西瓜书式(9.37)】发现：与式(9.6)比较，它的分数项分子缺${\alpha }_i$，两边乘以${\alpha }_i$即可配成式(9.6)，则有
$$\begin{array}{r}\sum _{j=1}^m{\gamma }_{ji}+\lambda {\alpha }_i=0\end{array}\text{\hspace{1em}(9.18)}$$
对$i$求和，有
$$\begin{array}{rl}0& =\sum _{i=1}^k(\sum _{j=1}^m{\gamma }_{ji}+\lambda {\alpha }_i)\\ & =\sum _{i=1}^k\sum _{j=1}^m{\gamma }_{ji}+\lambda \sum _{i=1}^k{\alpha }_i\\ & =\sum _{j=1}^m\sum _{i=1}^k{\gamma }_{ji}+\lambda \text{（由于∑i=1kαi=1）}\\ & =\sum _{j=1}^{m}1+\lambda \text{（由于∑i=1kγji=1）}\\ & =m+\lambda \\ \therefore \lambda & =-m\end{array}\text{\hspace{1em}(9.19)}$$

由式(9.18)、式(9.19)“凑”出递推式
$$\begin{array}{r}{\alpha }_i^{t+1}=\frac{1}{m}\sum _{j=1}^m{\gamma }_{ji}^t\end{array}\text{\hspace{1em}(9.20)}$$
即【西瓜书式(9.38)】。

有了上述递推式，则可套用EM算法：

• E步：根据当前时刻（$t$时）的参数，由式(9.8)计算当前时刻的${\gamma }_{ji}^t$。
• M步：由${\gamma }_{ji}^t$及递推式(9.10)、式(9.17)、式(9.20)更新下一时刻（$t+1$）的参数。

整理成伪代码即为【西瓜书图9.6】所示的高斯混合聚类算法。

注：代码中并没有体现出关于时刻的符号$t$，这是由于程序运行的过程隐含地体现了时刻，若显示地体现，则会引入较多的变量，占用较多的存储空间，需要寻址、赋值等，反而不方便。

至此，我们完成了高斯混合聚类算法的推导，看官如果还不过瘾的话，我们再来推导一次——按EM的（II）的方法：将样本的成分标识视为隐变量，使用EM算法。

首先，我们设定要素及准备有关公式。

（1）参数：$k$个成分的高斯混合分布的参数为 Θ = ( { μ i , Σ i , α i } i = 1 k ) {\Theta}=(\{{\mu }_i,{\boldsymbol{\Sigma } }_i,{\alpha }_i\}_{i=1}^k) Θ=({μi​,Σi​,αi​}i=1k​)，在序列(7.33)中（7.10 EM算法的使用场景及步骤），
$$\begin{array}{r}{\Theta }^0,{\Theta }^1,{\Theta }^2,\cdots ,{\Theta }^t,{\Theta }^{t+1},\cdots \end{array}\text{\hspace{1em}(7.33)}$$
Θ   t = ( { μ i t , Σ i t , α i t } i = 1 k ) {\Theta}^{\,t}=(\{{\mu }_i^t,{\boldsymbol{\Sigma } }_i^t,{\alpha }_i^t\}_{i=1}^k) Θt=({μit​,Σit​,αit​}i=1k​)。

（2）隐变量：将样本$\mathbf{x}$所属的成分（簇）作为其隐变量$z$，根据混合成分分布的定义我们给出关联的“事件”概率。

{混合成分中产生的样本$\mathbf{x}$属于第$i$个成分}={选取第$i$个成分}$\bigcap${在该成分中产生样本$\mathbf{x}$}
，则该事件发生的概率表达式有
$$\begin{array}{rl}P(\mathbf{x},z=i|\Theta )& ={\alpha }_{i}P(\mathbf{x}|{\Theta }_i)\end{array}\text{\hspace{1em}(9.21)}$$
注：这时，$\mathbf{x}$只与$\Theta$中的成分$i$的参数${\Theta }_i$有关。

{混合成分中产生样本$\mathbf{x}$}=${\bigcup }_{i=1}^k${在第$i$个成分中产生样本$\mathbf{x}$}，则该事件发生的概率表达式有
$$\begin{array}{rl}P(\mathbf{x}|\Theta )& =\sum _{i=1}^k{\alpha }_{i}P(\mathbf{x}|{\Theta }_i)\end{array}\text{\hspace{1em}(9.22)}$$

式(9.21)、式(9.22)对于混合成分分布都成立，而对于高斯混合，式中的$P(\mathbf{x}|{\Theta }_i)$由【西瓜书式(9.28)】所定义。这时，$P$实际上是$p$（概率分布密度），由于本书主要讨论离散型随机变量，常用大写的$P$（即并不去严格区分它的大小写），根据上下文理解：针对离散型则为概率，针对连续型则为概率分布密度。

由式(9.21)得到关于$z$的分段函数
$$\begin{array}{rl}P(\mathbf{x},z|\Theta )& ={\alpha }_{i}P(\mathbf{x}|{\Theta }_i),(\text{若}z=i),i=1,2,\cdots ,k\end{array}\text{\hspace{1em}(9.23)}$$

将指示函数应用于该分段函数，有
$$\begin{array}{rl}P(\mathbf{x},z|\Theta )& =\prod _{i=1}^k[{\alpha }_{i}P(\mathbf{x}|{\Theta }_i){]}^{\mathbb{I}(z=i)}\text{（由式(B8)）}\end{array}\text{\hspace{1em}(9.24)}$$
其中用到公式（参见6、指示函数及应用（将分段函数表达成一个式子的技术））：
$$\begin{array}{r}f(\mathbf{x})=\prod _{i=1}^n{a}_i(\mathbf{x}{)}^{\mathbb{I}[A_i(\mathbf{x})]}\end{array}\text{\hspace{1em}(B8)}$$
（3）隐变量$z$的分布：由式(9.21)、式(9.22)及贝叶斯公式，有
$$\begin{array}{rl}P(z=i|\mathbf{x},\Theta )& =\frac{P(\mathbf{x},z=i|\Theta )}{P(\mathbf{x}|\Theta )}\\ & =\frac{{\alpha }_{i}P(\mathbf{x}|{\Theta }_i)}{{\sum }_{i=1}^k{\alpha }_{i}P(\mathbf{x}|{\Theta }_i)}\end{array}\text{\hspace{1em}(9.25)}$$
当已知${\mathbf{x}}_j$时，对应的隐变量$z$在时刻$t$的后验分布为
$$\begin{array}{r}P(z_j=i|{\mathbf{x}}_j,{\Theta }^t)=\frac{{\alpha }_i^{t}P({\mathbf{x}}_j|{\Theta }_i^t)}{{\sum }_{i=1}^k{\alpha }_i^{t}P({\mathbf{x}}_j|{\Theta }_i^t)}={\gamma }_{ji}^t\end{array}\text{\hspace{1em}(9.26)}$$
其中，${\gamma }_{ji}^t$即为式(9.8)，这即为【西瓜书式(9.30)】。

（4）设样本集为： D ′ = { x j , z j } j = 1 m D'=\{\boldsymbol{x }_j,z_j\}_{j=1}^m D′={xj​,zj​}j=1m​，其中，$z_j$为样本所属的成分变量（隐变量），记 X = { x j } j = 1 m ,   Z = { z j } j = 1 m \mathbf{X}=\{\boldsymbol{x }_j\}_{j=1}^m,\ \mathbf{Z}=\{z_j\}_{j=1}^m X={xj​}j=1m​, Z={zj​}j=1m​。
具体化$Q(\Theta |{\Theta }^t)$：
$$\begin{array}{rl}Q(\Theta |{\Theta }^t)& ={\mathbb{E}}_{\mathbf{Z}|\mathbf{X},{\Theta }^t}\mathrm{LL}(\Theta |\mathbf{X},\mathbf{Z})\text{（由【西瓜书式(7.36)】）}\\ & ={\mathbb{E}}_{\mathbf{Z}|\mathbf{X},{\Theta }^t}\ln P(\mathbf{X},\mathbf{Z}|\Theta )\\ & ={\mathbb{E}}_{\mathbf{Z}|\mathbf{X},{\Theta }^t}\ln \prod _{j=1}^{m}P({\mathbf{x}}_j,z_j|\Theta )\\ & ={\mathbb{E}}_{\mathbf{Z}|\mathbf{X},{\Theta }^t}\sum _{j=1}^m\ln P({\mathbf{x}}_j,z_j|\Theta )\\ & ={\mathbb{E}}_{\mathbf{Z}|\mathbf{X},{\Theta }^t}\sum _{j=1}^m\ln \prod _{i=1}^k({\alpha }_{i}P({\mathbf{x}}_j|{\Theta }_i){)}^{\mathbb{I}(z_j=i)}\text{（由式(9.24)）}\\ & =\sum _{j=1}^m{\mathbb{E}}_{\mathbf{Z}|\mathbf{X},{\Theta }^t}\left(\sum _{i=1}^k\mathbb{I}(z_j=i)\ln ({\alpha }_{i}P({\mathbf{x}}_j|{\Theta }_i))\right)\\ & =\sum _{j=1}^m\sum _{i=1}^k\left({\mathbb{E}}_{\mathbf{Z}|\mathbf{X},{\Theta }^t}\mathbb{I}(z_j=i)\right)\ln ({\alpha }_{i}P({\mathbf{x}}_j|{\Theta }_i))\\ & =\sum _{j=1}^m\sum _{i=1}^k\left({\mathbb{E}}_{z_j|{\mathbf{x}}_j,{\Theta }^t}\mathbb{I}(z_j=i)\right)\ln ({\alpha }_{i}P({\mathbf{x}}_j|{\Theta }_i))\text{（E作用域只含zj）}\\ & =\sum _{j=1}^m\sum _{i=1}^{k}P(z_j=i|{\mathbf{x}}_j,{\Theta }^t)\ln ({\alpha }_{i}P({\mathbf{x}}_j|{\Theta }_i))\text{（由式(B11)）}\\ & =\sum _{j=1}^m\sum _{i=1}^k{\gamma }_{ji}^t\ln ({\alpha }_{i}P({\mathbf{x}}_j|{\Theta }_i))\text{（由式(9.26)）}\\ & =\sum _{j=1}^m\sum _{i=1}^k{\gamma }_{ji}^t\ln {\alpha }_i+\sum _{j=1}^m\sum _{i=1}^k{\gamma }_{ji}^t\ln P({\mathbf{x}}_j|{\Theta }_i)\end{array}$$
其中用到公式（参见6、指示函数及应用（将分段函数表达成一个式子的技术））：
$$\begin{array}{rl}\underset{x\in D}{\mathbb{E}}{\mathbb{I}}_A(x)& =P(x\in A)\end{array}\text{\hspace{1em}(B11)}$$
即有
$$\begin{array}{r}Q(\Theta |{\Theta }^t)=\sum _{j=1}^m\sum _{i=1}^k{\gamma }_{ji}^t\ln {\alpha }_i+\sum _{j=1}^m\sum _{i=1}^k{\gamma }_{ji}^t\ln P({\mathbf{x}}_j|{\Theta }_i)\end{array}\text{\hspace{1em}(9.27)}$$
有了上述准备后，即可使用EM算法：

E步：

（1）推断隐变量分布：$P(\mathbf{Z}|\mathbf{X},{\Theta }^t)$，这时它等价为$P(z_j|{\mathbf{x}}_j,{\Theta }^t),j=1,2,\cdots ,k$，即式(9.26)，其中参数即为当前参数，而${\mathbf{x}}_j$也已知，由【西瓜书式(9.28)】和式(9.26)即可计算${\gamma }_{ji}^t$。

（2）列出$Q$的表达式：即式(9.27)。

M步：求$Q$的最大值点：

由式(9.27)有
$$\begin{array}{rl}\frac{\partial Q(\Theta |{\Theta }^t)}{\partial {\mathbf{\mu }}_i}& =0+\sum _{j=1}^m\left({\gamma }_{ji}^t\frac{\partial \ln P({\mathbf{x}}_j|{\Theta }_i)}{\partial {\mathbf{\mu }}_i}+\sum _{l\ne i}{\gamma }_{jl}^t\frac{\partial \ln P({\mathbf{x}}_j|{\Theta }_l)}{\partial {\mathbf{\mu }}_i}\right)\\ & =\sum _{j=1}^m\left({\gamma }_{ji}^t\frac{1}{P({\mathbf{x}}_j|{\Theta }_i)}\frac{\partial P({\mathbf{x}}_j|{\Theta }_i)}{\partial {\mathbf{\mu }}_i}+0\right)\\ & =-\sum _{j=1}^m{\gamma }_{ji}^t\frac{1}{P({\mathbf{x}}_j|{\Theta }_i)}p({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i){\mathbf{\Sigma }}_i^{-1}({\mathbf{x}}_j-{\mathbf{\mu }}_i)\text{（由式(9.4)）}\\ & =-{\mathbf{\Sigma }}_i^{-1}\sum _{j=1}^m{\gamma }_{ji}^t({\mathbf{x}}_j-{\mathbf{\mu }}_i)\end{array}\text{\hspace{1em}(9.28)}$$
令$\frac{\partial Q(\Theta |{\Theta }^t)}{\partial {\mathbf{\mu }}_i}=0$，则得与式(9.10)一致的结果：
$$\begin{array}{r}{\mathbf{\mu }}_i^{t+1}=\frac{{\sum }_{j=1}^m{\gamma }_{ji}^t{\mathbf{x}}_j}{{\sum }_{j=1}^m{\gamma }_{ji}^t}\end{array}\text{\hspace{1em}(9.29)}$$
即【西瓜书式(9.34)】。

类似地，从式(9.27)出发，可推导出其他递推式，留给大家练习。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：9.3 高斯混合聚类算法（男生和女生依比例形成男女混合成绩模型）
下一篇：9.5 密度聚类与层次聚类（DBSCAN算法、AGNES算法）