（《机器学习》完整版系列）第13章 半监督学习——13.1 生成式方法详解（样本数据都是由同一个潜在的模型“生成”的）

在前面章节中，我们学习了：（1）在样本集的样本标记的指导下进行分类；（2）在样本集样本的稠密分布约束下进行聚类。 前者称为监督学习，后者称为无监督学习，无监督学习实际上还是找一个指导：以“稠密度”指导聚类（“稠密度”高的地方不应该分开）。 在许多情况下，既有一些有标记的样本，又有大量的无标记样本，那么，充分利用这两点开发出的机器学习即为半监督学习。

设有标记的样本集：$D_l$，未标记的样本集：$D_u$
{ D l = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ ( x l , y l ) } D u = { x l + 1 , x l + 2 , ⋯ x l + u } \begin{align} \begin{cases} D_l=\{(\boldsymbol{x}_1,y_1),(\boldsymbol{x}_2,y_2),\cdots (\boldsymbol{x}_l,y_l)\} \\ D_u=\{\boldsymbol{x}_{l+1},\boldsymbol{x}_{l+2},\cdots \boldsymbol{x}_{l+u}\} \\ \end{cases} \tag{13.1} \end{align} {Dl​={(x1​,y1​),(x2​,y2​),⋯(xl​,yl​)}Du​={xl+1​,xl+2​,⋯xl+u​}​​(13.1)​
用$D_l\cup D_u$训练分类器，则是半监督学习。

生成式方法分为如下步骤来讨论：
（1）关于${{\mathbf{\mu }}_i}_i$
（2）关于${\mathbf{\Sigma }}_i$
（3）关于${\alpha }_i$
（4）模型参数及简化
（5）应用EM算法求参数：E步和M步不断循环迭代直至收敛，从而得到模型参数$({\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i,{\alpha }_i{)}_{i=1}^N$，然后，就可以利用模型进行预测了。

在利用无标记样本集时，必须有一个先验假设，如：聚类时，假定“近墨者黑”。 现在的先验假设是：所有样本数据（无论是否有标记）都是由同一个潜在的模型“生成”的，基于此理念的机器学习方法称为生成式方法。
设潜在的模型为高斯混合模型，对高斯混合模型参数进行估计可以采用EA算法，本篇进行了详细讨论和数学推导。

生成式方法

本节延续（9.3 高斯混合聚类算法（男生和女生依比例形成男女混合成绩模型）和
9.4 高斯混合模型EM算法详细推导）的高斯混合分布【西瓜书式(9.29)】相关内容：假设样本由高斯混合模型生成，则有【西瓜书式(13.1)】（由【西瓜书式(9.29)】改写），其中，高斯分布$p(\mathbf{x}|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)$由【西瓜书式(9.28)】定义。 后验概率$p(\Theta =i|\mathbf{x})$由【西瓜书式(13.3)】或【西瓜书式(9.30)】给出，在此基础上，我们讨论其半监督学习。

（0）若干准备

设$\mathbf{x}$所隶属的成分为$\Theta$，将样本空间的参数及混合成分记为
θ = ( μ , Σ , α ) = ( { μ i , Σ i , α i } i = 1 N ) ⟹ ( { Θ = i } i = 1 N ) \boldsymbol{\theta } =(\boldsymbol{\mu },{\boldsymbol{\Sigma } },\boldsymbol{\alpha })=(\{\boldsymbol{\mu }_i,{\boldsymbol{\Sigma } }_i,\boldsymbol{\alpha }_i\}_{i=1}^N)\Longrightarrow (\{\Theta =i\}_{i=1}^N) θ=(μ,Σ,α)=({μi​,Σi​,αi​}i=1N​)⟹({Θ=i}i=1N​)

回到对数似然法【西瓜书式(7.10)】，则
$$\begin{array}{rl}\mathrm{LL}(\mathbf{\theta })& =\ln P(D_l\cup D_u|\mathbf{\theta })\\ & =\ln (P(D_l|\mathbf{\theta })P(D_u|\mathbf{\theta }))\text{（由i.i.d.假设）}\\ & =\ln \left[\prod _{j=1}^{l}P({\mathbf{x}}_j,y_j|\mathbf{\theta })\times \prod _{j=l+1}^{l+u}P({\mathbf{x}}_j|\mathbf{\theta })\right]\\ & =\sum _{j=1}^l\ln P({\mathbf{x}}_j,y_j|\mathbf{\theta })+\sum _{j=l+1}^{l+u}\ln P({\mathbf{x}}_j|\mathbf{\theta })\end{array}\text{\hspace{1em}(13.2)}$$
则
$$\begin{array}{rl}P(\mathbf{x},y|\mathbf{\theta })& =P(\mathbf{x},y)\text{（省略统一的条件θ，下同）}\\ & =\sum _{i=1}^{N}P(\Theta =i,\mathbf{x},y)\\ & =\sum _{i=1}^{N}P(\mathbf{x})P(\Theta =i|\mathbf{x})P(y|\Theta =i,\mathbf{x})\\ & =\sum _{i=1}^N\text{【西瓜书式(13.1)与(13.3)相乘】}P(y|\Theta =i,\mathbf{x})\\ & =\sum _{i=1}^N{\alpha }_{i}P(\mathbf{x}|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)P(y|\Theta =i,\mathbf{x})\end{array}\text{\hspace{1em}(13.3)}$$
将式(13.3)作用于$({\mathbf{x}}_j,y_j)$，得到$P({\mathbf{x}}_j,y_j|\mathbf{\theta })$，同样，将【西瓜书式(13.1)】作用于${\mathbf{x}}_j$，得到$P({\mathbf{x}}_j|\mathbf{\theta })$，记：
$$\begin{array}{r}\{\begin{array}{l}{A}_j\stackrel{\mathrm{def}}{=}P({\mathbf{x}}_j,y_j|\mathbf{\theta })={\sum }_{i=1}^N{\alpha }_{i}P(y_j|{\Theta }_j=i,{\mathbf{x}}_j)P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)\\ B_j\stackrel{\mathrm{def}}{=}P({\mathbf{x}}_j|\mathbf{\theta })={\sum }_{i=1}^N{\alpha }_{i}P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)\end{array}\end{array}\text{\hspace{1em}(13.4)}$$

再引入记号（样本所属成分的后验概率）
$$\begin{array}{r}{\gamma }_{ji}\stackrel{\mathrm{def}}{=}P({\Theta }_j=i|{\mathbf{x}}_j)\end{array}\text{\hspace{1em}(13.5)}$$
则由贝叶斯公式【西瓜书式(7.8)】有
$$\begin{array}{r}{\gamma }_{ji}=\frac{{\alpha }_{i}P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)}{B_j}\end{array}\text{\hspace{1em}(13.6)}$$
即【西瓜书式(13.5)】.

假设I：假设每个混合成分对应于一个类别

设“若${\mathbf{x}}_j$属于成分${\Theta }_j=i$，则${\mathbf{x}}_j$属于类别$i$”，用概率式子表达即为
$$\begin{array}{r}P(y_j=i|{\Theta }_j=i)=1\end{array}\text{\hspace{1em}(13.7)}$$
设$D_i=D_l\bigcap \{({\mathbf{x}}_j,y_j):y_j=i\}$，则
当$({\mathbf{x}}_j,y_j)\in D_i$时，有
$$\begin{array}{r}\{\begin{array}{l}P(y_j|{\Theta }_j=i,{\mathbf{x}}_j)=1\\ A_j=B_j\end{array}\end{array}\text{\hspace{1em}(13.8)}$$
当$({\mathbf{x}}_j,y_j)\in D_l\setminus D_i$时，有
$$\begin{array}{r}P(y_j|{\Theta }_j=i,{\mathbf{x}}_j)=0\end{array}\text{\hspace{1em}(13.9)}$$
引入记号$C_j[f]$，由式(13.6)、式(13.8)、式(13.9)，有
$$\begin{array}{rl}{C}_j[f]& \stackrel{\mathrm{def}}{=}\sum _{({\mathbf{x}}_j,y_j)\in D_l}\frac{{\alpha }_{i}P(y_j|{\Theta }_j=i,{\mathbf{x}}_j)P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)}{A_j}f({\mathbf{x}}_j)\\ & +\sum _{{\mathbf{x}}_j\in D_u}\frac{{\alpha }_{i}P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)}{B_j}f({\mathbf{x}}_j)\\ & =\sum _{({\mathbf{x}}_j,y_j)\in D_l}{\gamma }_{ji}\frac{B_j}{A_j}P(y_j|{\Theta }_j=i,{\mathbf{x}}_j)f({\mathbf{x}}_j)+\sum _{{\mathbf{x}}_j\in D_u}{\gamma }_{ji}f({\mathbf{x}}_j)\\ & =\sum _{({\mathbf{x}}_j,y_j)\in D_i}[{\gamma }_{ji}\frac{B_j}{A_j}P(y_j|{\Theta }_j=i,{\mathbf{x}}_j)f({\mathbf{x}}_j)]\\ & +\sum _{({\mathbf{x}}_j,y_j)\in D_l\setminus D_i}[{\gamma }_{ji}\frac{B_j}{A_j}P(y_j|{\Theta }_j=i,{\mathbf{x}}_j)({\mathbf{x}}_j-{\mathbf{\mu }}_i)]+\sum _{{\mathbf{x}}_j\in D_u}{\gamma }_{ji}f({\mathbf{x}}_j)\\ & =\sum _{({\mathbf{x}}_j,y_j)\in D_i}[{\gamma }_{ji}f({\mathbf{x}}_j)]+\sum _{({\mathbf{x}}_j,y_j)\in D_l\setminus D_i}[0]+\sum _{{\mathbf{x}}_j\in D_u}{\gamma }_{ji}f({\mathbf{x}}_j)\\ & =\sum _{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}f({\mathbf{x}}_j)\end{array}\text{\hspace{1em}(13.10)(13.11)}$$
式(13.4)代入式(13.2)，得到
$$\begin{array}{rl}\mathrm{LL}(\mathbf{\theta })& =\text{【西瓜书式(13.4)】}\\ & =\sum _{({\mathbf{x}}_j,y_j)\in D_l}\ln A_j+\sum _{{\mathbf{x}}_j\in D_u}\ln B_j\text{（简记）}\end{array}\text{\hspace{1em}(13.12)}$$
其中，$A_j,B_j$为式(13.4)。

再结合约束条件${\alpha }_i⩾0,{\sum }_{i=1}^N{\alpha }_i=1$，作拉格朗日函数
$$\begin{array}{r}L=\mathrm{LL}(\mathbf{\theta })+\lambda (\sum _{i=1}^N{\alpha }_i-1)\end{array}\text{\hspace{1em}(13.13)}$$

（1）关于${{\mathbf{\mu }}_i}_i$

$$\begin{array}{rl}\frac{\partial A_j}{\partial {\mathbf{\mu }}_i}& =\frac{\partial }{\partial {\mathbf{\mu }}_i}\left[({\alpha }_{i}P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)P(y_j|{\Theta }_j=i,{\mathbf{x}}_j))+\sum _{k\ne i}\text{（与μi无关的项）}\right]\\ & ={\alpha }_{i}P(y_j|{\Theta }_j=i,{\mathbf{x}}_j)\frac{\partial }{\partial {\mathbf{\mu }}_i}P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)\\ & =-{\alpha }_{i}P(y_j|{\Theta }_j=i,{\mathbf{x}}_j)P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i){{\mathbf{\Sigma }}_i}^{-1}({\mathbf{x}}_j-{\mathbf{\mu }}_i)\text{（由9.4 高斯混合模型EM算法详细推导的式(9.4)）}\end{array}\text{\hspace{1em}(13.14)}$$

同样有
$$\begin{array}{rl}\frac{\partial B_j}{\partial {\mathbf{\mu }}_i}& =-{\alpha }_{i}P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i){{\mathbf{\Sigma }}_i}^{-1}({\mathbf{x}}_j-{\mathbf{\mu }}_i)\end{array}\text{\hspace{1em}(13.15)}$$

由式(13.12)、式(13.13)、式(13.14)、式(13.15)，有
$$\begin{array}{rl}\frac{\partial L}{\partial {\mathbf{\mu }}_i}& =\frac{\partial \mathrm{LL}(\mathbf{\theta })}{\partial {\mathbf{\mu }}_i}\\ & =\sum _{({\mathbf{x}}_j,y_j)\in D_l}\frac{\partial }{\partial {\mathbf{\mu }}_i}\ln A_j+\sum _{{\mathbf{x}}_j\in D_u}\frac{\partial }{\partial {\mathbf{\mu }}_i}\ln B_j\text{（由式(13.12)）}\\ & =\sum _{({\mathbf{x}}_j,y_j)\in D_l}\frac{1}{A_j}\frac{\partial A_j}{\partial {\mathbf{\mu }}_i}+\sum _{{\mathbf{x}}_j\in D_u}\frac{1}{B_j}\frac{\partial B_j}{\partial {\mathbf{\mu }}_i}\\ & =-\sum _{({\mathbf{x}}_j,y_j)\in D_l}\frac{{\alpha }_{i}P(y_j|{\Theta }_j=i,{\mathbf{x}}_j)P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)}{A_j}{{\mathbf{\Sigma }}_i}^{-1}({\mathbf{x}}_j-{\mathbf{\mu }}_i)\\ & -\sum _{{\mathbf{x}}_j\in D_u}\frac{{\alpha }_{i}P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)}{B_j}{{\mathbf{\Sigma }}_i}^{-1}({\mathbf{x}}_j-{\mathbf{\mu }}_i)\end{array}\text{\hspace{1em}(13.16)}$$

令$f({\mathbf{x}}_j)=-{{\mathbf{\Sigma }}_i}^{-1}({\mathbf{x}}_j-{\mathbf{\mu }}_i)$，式(13.16)变为
$$\begin{array}{rl}\frac{\partial L}{\partial {\mathbf{\mu }}_i}& =C_j[f]{|}_{f({\mathbf{x}}_j)=-{{\mathbf{\Sigma }}_i}^{-1}({\mathbf{x}}_j-{\mathbf{\mu }}_i)}\text{（由式(13.10)）}\\ & =\sum _{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}f({\mathbf{x}}_j){|}_{f({\mathbf{x}}_j)=-{{\mathbf{\Sigma }}_i}^{-1}({\mathbf{x}}_j-{\mathbf{\mu }}_i)}\text{（由式(13.11)）}\\ & =-{{\mathbf{\Sigma }}_i}^{-1}\left(\sum _{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}({\mathbf{x}}_j-{\mathbf{\mu }}_i)\right)\end{array}\text{\hspace{1em}(13.17)}$$
令$\frac{\partial L}{\partial {\mathbf{\mu }}_i}=0$，则
$$\begin{array}{r}{\mathbf{\mu }}_i=\frac{{\sum }_{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}{\mathbf{x}}_j}{{\sum }_{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}}\end{array}\text{\hspace{1em}(13.18)}$$

（2）关于${\mathbf{\Sigma }}_i$

$$\begin{array}{rl}\frac{\partial A_j}{\partial {\mathbf{\Sigma }}_i}& =\frac{\partial }{\partial {\mathbf{\Sigma }}_i}\left[({\alpha }_{i}P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)P(y_j|{\Theta }_j=i,{\mathbf{x}}_j))+\sum _{k\ne i}\text{（与Σi无关的项）}\right]\\ & ={\alpha }_{i}P(y_j|{\Theta }_j=i,{\mathbf{x}}_j)\frac{\partial }{\partial {\mathbf{\Sigma }}_i}P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)\text{（下式由9.4 高斯混合模型EM算法详细推导的式(9.14)）}\\ & =\frac{1}{2}{\alpha }_{i}P(y_j|{\Theta }_j=i,{\mathbf{x}}_j)P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i){\mathbf{\Sigma }}_i^{-1}[({\mathbf{x}}_j-{\mathbf{\mu }}_i)({\mathbf{x}}_j-{\mathbf{\mu }}_i{)}^{\mathrm{T}}-{\mathbf{\Sigma }}_i]{\mathbf{\Sigma }}_i^{-1}\\ & =\frac{1}{2}{\alpha }_{i}P(y_j|{\Theta }_j=i,{\mathbf{x}}_j)P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)f({\mathbf{x}}_j)\end{array}\text{\hspace{1em}(13.19)}$$
其中，$f({\mathbf{x}}_j)={\mathbf{\Sigma }}_i^{-1}[({\mathbf{x}}_j-{\mathbf{\mu }}_i)({\mathbf{x}}_j-{\mathbf{\mu }}_i{)}^{\mathrm{T}}-{\mathbf{\Sigma }}_i]{\mathbf{\Sigma }}_i^{-1}$。

同样有
$$\begin{array}{rl}\frac{\partial B_j}{\partial {\mathbf{\Sigma }}_i}& =\frac{1}{2}{\alpha }_{i}P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)f({\mathbf{x}}_j)\end{array}\text{\hspace{1em}(13.20)}$$
其中，$f({\mathbf{x}}_j)={\mathbf{\Sigma }}_i^{-1}[({\mathbf{x}}_j-{\mathbf{\mu }}_i)({\mathbf{x}}_j-{\mathbf{\mu }}_i{)}^{\mathrm{T}}-{\mathbf{\Sigma }}_i]{\mathbf{\Sigma }}_i^{-1}$。

由式(13.13)、式(13.19)、式(13.20)，有
$$\begin{array}{rl}\frac{\partial L}{\partial {\mathbf{\Sigma }}_i}& =\frac{\partial \mathrm{LL}(\mathbf{\theta })}{\partial {\mathbf{\Sigma }}_i}\\ & =\sum _{({\mathbf{x}}_j,y_j)\in D_l}\frac{\partial }{\partial {\mathbf{\Sigma }}_i}\ln A_j+\sum _{{\mathbf{x}}_j\in D_u}\frac{\partial }{\partial {\mathbf{\Sigma }}_i}\ln B_j\text{（由式(13.12)）}\\ & =\sum _{({\mathbf{x}}_j,y_j)\in D_l}\frac{1}{A_j}\frac{\partial A_j}{\partial {\mathbf{\Sigma }}_i}+\sum _{{\mathbf{x}}_j\in D_u}\frac{1}{B_j}\frac{\partial B_j}{\partial {\mathbf{\Sigma }}_i}\\ & =\frac{1}{2}\sum _{({\mathbf{x}}_j,y_j)\in D_l}\frac{1}{A_j}{\alpha }_{i}P(y_j|{\Theta }_j=i,{\mathbf{x}}_j)P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)f({\mathbf{x}}_j)\\ & \frac{1}{2}+\sum _{{\mathbf{x}}_j\in D_u}\frac{1}{B_j}{\alpha }_{i}P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)f({\mathbf{x}}_j)\\ & =\frac{1}{2}{C}_j[f]{|}_{f({\mathbf{x}}_j)={\mathbf{\Sigma }}_i^{-1}[({\mathbf{x}}_j-{\mathbf{\mu }}_i)({\mathbf{x}}_j-{\mathbf{\mu }}_i{)}^{\mathrm{T}}-{\mathbf{\Sigma }}_i]{\mathbf{\Sigma }}_i^{-1}}\text{（由式(13.10)）}\\ & =\frac{1}{2}\sum _{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}f({\mathbf{x}}_j){|}_{f({\mathbf{x}}_j)={\mathbf{\Sigma }}_i^{-1}[({\mathbf{x}}_j-{\mathbf{\mu }}_i)({\mathbf{x}}_j-{\mathbf{\mu }}_i{)}^{\mathrm{T}}-{\mathbf{\Sigma }}_i]{\mathbf{\Sigma }}_i^{-1}}\text{（由式(13.11)）}\\ & =\frac{1}{2}\sum _{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}{\mathbf{\Sigma }}_i^{-1}[({\mathbf{x}}_j-{\mathbf{\mu }}_i)({\mathbf{x}}_j-{\mathbf{\mu }}_i{)}^{\mathrm{T}}-{\mathbf{\Sigma }}_i]{\mathbf{\Sigma }}_i^{-1}\\ & =\frac{1}{2}{\mathbf{\Sigma }}_i^{-1}\left(\sum _{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}[({\mathbf{x}}_j-{\mathbf{\mu }}_i)({\mathbf{x}}_j-{\mathbf{\mu }}_i{)}^{\mathrm{T}}-{\mathbf{\Sigma }}_i]\right){\mathbf{\Sigma }}_i^{-1}\end{array}\text{\hspace{1em}(13.21)}$$
令$\frac{\partial L}{\partial {\mathbf{\Sigma }}_i}=0$，则
$$\begin{array}{rl}& \sum _{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}[({\mathbf{x}}_j-{\mathbf{\mu }}_i)({\mathbf{x}}_j-{\mathbf{\mu }}_i{)}^{\mathrm{T}}-{\mathbf{\Sigma }}_i]=0\\ & \sum _{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}({\mathbf{x}}_j-{\mathbf{\mu }}_i)({\mathbf{x}}_j-{\mathbf{\mu }}_i{)}^{\mathrm{T}}-\sum _{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}{\mathbf{\Sigma }}_i=0\\ & {\mathbf{\Sigma }}_i=\frac{{\sum }_{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}({\mathbf{x}}_j-{\mathbf{\mu }}_i)({\mathbf{x}}_j-{\mathbf{\mu }}_i{)}^{\mathrm{T}}}{{\sum }_{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}}\end{array}\text{\hspace{1em}(13.22)}$$

（3）关于${\alpha }_i$

$$\begin{array}{rl}\frac{\partial A_j}{\partial {\alpha }_i}& =P(y_j|{\Theta }_j=i,{\mathbf{x}}_j)P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)\end{array}\text{\hspace{1em}(13.23)}$$

同样有
$$\begin{array}{rl}\frac{\partial B_j}{\partial {\alpha }_i}& =P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)\end{array}\text{\hspace{1em}(13.24)}$$

由式(13.23)、式(13.24)，有
$$\begin{array}{rl}\frac{\partial \mathrm{LL}(\mathbf{\theta })}{\partial {\alpha }_i}& =\sum _{({\mathbf{x}}_j,y_j)\in D_l}\frac{1}{A_j}\frac{\partial A_j}{\partial {\alpha }_i}+\sum _{{\mathbf{x}}_j\in D_u}\frac{1}{B_j}\frac{\partial B_j}{\partial {\alpha }_i}\\ & =\sum _{({\mathbf{x}}_j,y_j)\in D_l}\frac{1}{A_j}P(y_j|{\Theta }_j=i,{\mathbf{x}}_j)P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)+\sum _{{\mathbf{x}}_j\in D_u}\frac{1}{B_j}P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)\\ & ={\alpha }_i^{-1}\sum _{({\mathbf{x}}_j,y_j)\in D_l}\frac{1}{A_j}{\alpha }_{i}P(y_j|{\Theta }_j=i,{\mathbf{x}}_j)P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)\\ & +{\alpha }_i^{-1}\sum _{{\mathbf{x}}_j\in D_u}\frac{1}{B_j}{\alpha }_{i}P({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)\\ & ={\alpha }_i^{-1}{C}_j[f]{|}_{f({\mathbf{x}}_j)=1}\text{（由式(13.10)）}\\ & ={\alpha }_i^{-1}\sum _{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}f({\mathbf{x}}_j){|}_{f({\mathbf{x}}_j)=1}\text{（由式(13.11)）}\\ & ={\alpha }_i^{-1}\sum _{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}\end{array}\text{\hspace{1em}(13.25)}$$
由式(13.13)
$$\begin{array}{rl}\frac{\partial L}{\partial {\alpha }_i}& =\frac{\partial \mathrm{LL}(\mathbf{\theta })}{\partial {\alpha }_i}+\lambda \frac{\partial }{\partial {\alpha }_i}(\sum _{j=1}^N{\alpha }_j-1)\\ & ={\alpha }_i^{-1}\sum _{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}+\lambda \end{array}\text{\hspace{1em}(13.26)}$$
令其为$0$，则
$$\begin{array}{rl}{\alpha }_i& =-{\lambda }^{-1}\sum _{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}\\ \lambda {\alpha }_i& =-\sum _{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}\\ \sum _{i=1}^N\lambda {\alpha }_i& =-\sum _{i=1}^N\sum _{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}\\ \lambda \sum _{i=1}^N{\alpha }_i& =-\sum _{i=1}^N\sum _{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}\\ \lambda & =-\sum _{i=1}^N\sum _{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}\end{array}\text{\hspace{1em}(13.27)(13.28)}$$

由式(13.27)、式(13.28)，有
$$\begin{array}{r}{\alpha }_i=\frac{{\sum }_{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}}{{\sum }_{i=1}^N{\sum }_{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}}\end{array}\text{\hspace{1em}(13.29)}$$

（4）模型参数及简化

汇总式(13.18)、式(13.22)、式(13.29)，得模型参数
$$\begin{array}{r}\{\begin{array}{l}{\mathbf{\mu }}_i=\frac{{\sum }_{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}{\mathbf{x}}_j}{{\sum }_{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}}\\ {\mathbf{\Sigma }}_i=\frac{{\sum }_{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}({\mathbf{x}}_j-{\mathbf{\mu }}_i)({\mathbf{x}}_j-{\mathbf{\mu }}_i{)}^{\mathrm{T}}}{{\sum }_{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}}\\ {\alpha }_i=\frac{{\sum }_{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}}{{\sum }_{i=1}^N{\sum }_{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}}\end{array}\end{array}\text{\hspace{1em}(13.30)}$$
其中，成分$i$的参数：${\mathbf{\mu }}_i$为向量（中心点），${\mathbf{\Sigma }}_i$为矩阵（样本集的协方差矩阵），${\alpha }_i$为标量（成分占比）。
另外，公式(13.30)中并没有见到监督的$y_i$，那它的作用在哪里呢？它的作用在于分出$D_i$。

在假设I下，模型参数为式(13.30)。
为简化计算，我们在假设I的基础上再增加一个假设 II，则导出模型参数为【西瓜书式 (13.6)(13.7)(13.8)】。

假设 II：假设每个类别对应于一个混合成分
设“若${\mathbf{x}}_j$属于类别$i$，则${\mathbf{x}}_j$属于成分${\Theta }_j=i$”，用概率式子表达即为
$$\begin{array}{r}P({\Theta }_j=i|y_j=i)=1\end{array}\text{\hspace{1em}(13.31)}$$
即有
$$\begin{array}{r}P({\Theta }_j=i|{\mathbf{x}}_j\in D_i)=1\end{array}\text{\hspace{1em}(13.32)}$$
代入式(13.5)得
$$\begin{array}{r}{\gamma }_{ji}=1,(\text{若}{\mathbf{x}}_j\in D_i)\end{array}\text{\hspace{1em}(13.33)}$$
由式 (13.33)有${\sum }_{{\mathbf{x}}_j\in D_i}{\gamma }_{ji}=|D_i|$，记为$l_i$，即为$D_l$中标记为第$i$类的样例的数目。

由此，可简化上述模型参数式(13.30)
$$\begin{array}{rl}{\mathbf{\mu }}_i& =\frac{{\sum }_{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}{\mathbf{x}}_j}{{\sum }_{{\mathbf{x}}_j\in D_i\bigcup D_u}{\gamma }_{ji}}\\ & =\frac{{\sum }_{{\mathbf{x}}_j\in D_i}{\gamma }_{ji}{\mathbf{x}}_j+{\sum }_{{\mathbf{x}}_j\in D_u}{\gamma }_{ji}{\mathbf{x}}_j}{{\sum }_{{\mathbf{x}}_j\in D_i}{\gamma }_{ji}+{\sum }_{{\mathbf{x}}_j\in D_u}{\gamma }_{ji}}\\ & =\frac{{\sum }_{{\mathbf{x}}_j\in D_i}{\mathbf{x}}_j+{\sum }_{{\mathbf{x}}_j\in D_u}{\gamma }_{ji}{\mathbf{x}}_j}{l_i+{\sum }_{{\mathbf{x}}_j\in D_u}{\gamma }_{ji}}\end{array}\text{\hspace{1em}(13.34)}$$

其中，$l_i=|D_i|$

$$\begin{array}{rl}{\mathbf{\Sigma }}_i& =\frac{{\sum }_{{\mathbf{x}}_j\in D_i}({\mathbf{x}}_j-{\mathbf{\mu }}_i)({\mathbf{x}}_j-{\mathbf{\mu }}_i{)}^{\mathrm{T}}+{\sum }_{{\mathbf{x}}_j\in D_u}{\gamma }_{ji}({\mathbf{x}}_j-{\mathbf{\mu }}_i)({\mathbf{x}}_j-{\mathbf{\mu }}_i{)}^{\mathrm{T}}}{l_i+{\sum }_{{\mathbf{x}}_j\in D_u}{\gamma }_{ji}}\\ {\alpha }_i& =\frac{l_i+{\sum }_{{\mathbf{x}}_j\in D_u}{\gamma }_{ji}}{{\sum }_{i=1}^N(l_i+{\sum }_{{\mathbf{x}}_j\in D_u}{\gamma }_{ji})}\\ & =\frac{l_i+{\sum }_{{\mathbf{x}}_j\in D_u}{\gamma }_{ji}}{l+{\sum }_{{\mathbf{x}}_j\in D_u}{\sum }_{i=1}^N{\gamma }_{ji}}\\ & =\frac{l_i+{\sum }_{{\mathbf{x}}_j\in D_u}{\gamma }_{ji}}{l+{\sum }_{{\mathbf{x}}_j\in D_u}}\\ & =\frac{l_i+{\sum }_{{\mathbf{x}}_j\in D_u}{\gamma }_{ji}}{l+u}\end{array}\text{\hspace{1em}(13.35)(13.36)}$$
式 (13.34)、式 (13.35)、式(13.36)即【西瓜书式(13.6)(13.7)(13.8)】，当$D_l=\varnothing$时，即为【西瓜书式(9.34)、式(9.35)、式(9.38)】，当$D_u=\varnothing$时，即为有监督学习。

（5）应用EM算法求参数

E步：根据当前参数$({\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i,{\alpha }_i{)}_{i=1}^N$及样本集 { x j } j = 1 m \{\boldsymbol{x}_j\}_{j=1}^m {xj​}j=1m​，由【西瓜书式(13.5)】计算${\gamma }_{ji}$。

M步：基于${\gamma }_{ji}$，由【西瓜书式(13.6)(13.7)(13.8)】更新参数$({\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i,{\alpha }_i{)}_{i=1}^N$。

E步和M步不断循环迭代直至收敛，从而得到模型参数$({\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i,{\alpha }_i{)}_{i=1}^N$，然后，就可以利用模型进行预测了。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：12.7 定理的证明技巧（烧脑的数学，好玩的技巧）
下一篇：13.2 半监督SVM（SVM的进化路线）