半监督生成式学习（Semi-Supervised Generative Learning）

Semi-Supervised Learning

半监督学习, 针对标记样本数量不足，寻找充分利用未标记样本的方法. 半监督学习一般两个基本假设：

• 聚类假设：处于相同聚类的样本更可能具有相同标记；
• 流型假设：处于很小的局部区域的样本更相似，更可能具有相同标记；

Generative and Discriminative Model

判别式学习对条件概率建模
$$y^{\ast }=\arg \underset{y}{\max }p(y|x\text{x}x)$$
生成式学习对联合概率建模
$$y^{\ast }=\arg \underset{y}{\max }p(y|x\text{x}x)=\arg \underset{y}{\max }\frac{p(x\text{x}x|y)p(y)}{p(x\text{x}x)}=\arg \underset{y}{\max }p(x\text{x}x|y)p(y)$$
生成式假定样本数据服从某一潜在分布（模型泛化能力强），需要充分可靠的知识.

Likelihood Function of Gaussian Mixture Model

高斯混合模型的概率密度函数
$$p(x\text{x}x|\Theta )=\sum _{k}p(x\text{x}x|{\theta }_k)p({\theta }_k)=\sum _k{\alpha }_{k}p(x\text{x}x|{\theta }_k)$$
采用最大后验概率预测$x\text{x}x$的标记， Y = { 1 , 2 , ⋯   , K } \mathcal Y=\{1, 2, \cdots, K\} Y={1,2,⋯,K}，则
$$\begin{array}{r}f(x\text{x}x)=\arg \underset{y\in \mathcal{Y}}{\max }p(y|x\text{x}x)=\arg \underset{y\in \mathcal{Y}}{\max }{\sum }_{k}p(y,{\theta }_k|x\text{x}x)=\arg \underset{y\in \mathcal{Y}}{\max }{\sum }_{k}p(y|{\theta }_k,x\text{x}x)p({\theta }_k|x\text{x}x)\end{array}$$

式中

• $p(y|{\theta }_k,x\text{x}x)$，表示$x\text{x}x$由第$k$个分布生成且标记为$y$的概率，当且仅当$y=k$时，概率为1；
• $p({\theta }_k|x\text{x}x)$，表示$x\text{x}x$由第$k$个分布生成的后验概率，利用大数据量的未标记数据可提高该概率的准确率；

若类簇与真实类别一一对应，标记样本$x\text{x}x\in D_l$，仅属于特定簇，则
$$p_{D_l}(x\text{x}x,y=i|\Theta )={\alpha }_{i}p(x\text{x}x|{\theta }_i)=\sum _k{\alpha }_{k}p(x\text{x}x|{\theta }_k)p(y=i|{\theta }_k,x\text{x}x)$$
上式中仅当$i=k$时，$p(y=k|{\theta }_i,x\text{x}x)$为1，否则为0. 无标记样本$x\text{x}x\in D_u$，可能属于任何类簇，则
$$p_{D_u}(x\text{x}x|\Theta )=\sum _k{\alpha }_{k}p(x\text{x}x|{\theta }_k)$$
对数似然函数
$$\begin{array}{rl}L(\Theta |D_l\cup D_u)& =L(\Theta |D_l)+L(\Theta |D_u)\\ & =\sum _{(x\text{x}x,y)\in D_l}\ln p(x\text{x}x,y=k|\Theta )+\sum _{(x\text{x}x,y)\in D_u}\ln p(x\text{x}x|\Theta )\\ & =\sum _{(x\text{x}x,y)\in D_l}\ln \sum _k{\alpha }_{k}p(x\text{x}x|{\theta }_k)p(y=i|{\theta }_k,x\text{x}x)+\sum _{(x\text{x}x,y)\in D_u}\ln \sum _k{\alpha }_{k}p(x\text{x}x|{\theta }_k)\end{array}$$

Parameter Estimation

GMM的参数估计使用EM算法，即
$$\Theta =\underset{\Theta }{\max }L(\Theta )=\arg \underset{\Theta }{\max }Q(\Theta ,{\Theta }_t)=\arg \underset{\theta }{\max }\sum _j\sum _{k}P(z_k|{x\text{x}x}_j,{\Theta }_t)\ln p({x\text{x}x}_j|z_k,\Theta )p(z_k|\Theta )$$
其中隐变量期望，或者样本${x\text{x}x}_j$属于第$k$个分布的概率，即E步
$${\lambda }_{jk}=p(z_k|{x\text{x}x}_j,{\Theta }_t)=\frac{{\alpha }_{k}p({x\text{x}x}_k|{\theta }_k)}{{\sum }_{k}p({x\text{x}x}_k|{\theta }_k)}$$
令$N_k$表示第$k$类有标记的样本数，M步
$$\begin{array}{rl}{\mu \text{μ}\mu }_k& =\frac{{\sum }_{{x\text{x}x}_j\in D_u}{\lambda }_{jk}{x\text{x}x}_j+{\sum }_{({x\text{x}x}_j,y_j)\in D_l\cap y_i=k}{x\text{x}x}_j}{N_k+{\sum }_{{x\text{x}x}_j\in D_u}{\lambda }_{jk}}\\ {\sigma \text{σ}\sigma }_k^2& =\frac{{\sum }_{{x\text{x}x}_j\in D_u}{\lambda }_{jk}({x\text{x}x}_j-{\mu \text{μ}\mu }_k)({x\text{x}x}_j-{\mu \text{μ}\mu }_k{)}^T+{\sum }_{({x\text{x}x}_j,y_j)\in D_l\cap y_i=k}({x\text{x}x}_j-{\mu \text{μ}\mu }_k)({x\text{x}x}_j-{\mu \text{μ}\mu }_k{)}^T}{N_k+{\sum }_{{x\text{x}x}_j\in D_u}{\lambda }_{jk}}\\ {\alpha }_k& =\frac{1}{N}\left(N_k+\sum _{{x\text{x}x}_j\in D_u}{\lambda }_{jk}\right)\end{array}$$