机器学习入门-西瓜书总结笔记第十三章

---

一、未标记样本

形式化地看，有训练样本集 D l = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x l , y l ) } D_l = \{(\pmb x_1,y_1),(\pmb x_2,y_2),\cdots,(\pmb x_l,y_l)\} Dl​={(xxx1​,y1​),(xxx2​,y2​),⋯,(xxxl​,yl​)}，这$l$个样本的类别标记已知，称为 “有标记”（labeled） 样本；此外，还有 D u = { x l + 1 , x l + 2 , ⋯   , x l + u } , l ≪ u D_u = \{\pmb x_{l+1},\pmb x_{l+2},\cdots,\pmb x_{l+u}\},l\ll u Du​={xxxl+1​,xxxl+2​,⋯,xxxl+u​},l≪u，这u个样本的类别标记未知，称为 “未标记”（unlabeled） 样本。若直接使用传统监督学习技术，则仅有$D_l$能用于构建模型，$D_u$所包含的信息被浪费了；另一方面，若$D_l$较小，则由于训练样本不足，学得模型的泛化能力往往不佳。
一种简单的做法，是将$D_u$中的示例全部标记后用于学习。显然，这样做需耗费大量时间和精力。
我们可以利用$D_l$先训练一个模型，拿这个模型去标记其他未标记样本，若每次都挑出对改善模型性能帮助大的样本，则只需要比较少的样本就能构建出比较强的模型，从而大幅降低标记成本。这样的学习方式称为“主动学习”（active learning），其目标是使用尽量少的“查询”（query）来获得尽量好的性能。
显然，主动学习加入了额外的专家知识，通过与外界交互来将部分未标记样本转变为有标记样本。若不与专家交互，没有获得额外信息，还能利用未标记样本来提高泛化性能吗？
事实上，未标记样本虽未直接包含标记信息，但若它们与有标记样本是从同样的数据源独立同分布采样而来，则它们所包含的关于数据分布的信息对建立模型将大有裨益。
上图给出了一个直观的例示。若仅基于图中的一个正例和一个反例，则由于判别样本恰位于两者正中间，大体上只能随机猜测；若能观察到图中的未标记样本，则将很有把握地判别为正例。
让学习去不依赖外界交互、自动地利用未标记样本来提升学习性能，这就是 半监督学习（semi-supervised learning）。半监督学习的现实需求非常强烈，因为在现实应用中往往很容易地收集到大量未标记样本，而获取“标记”却需耗费人力，物理。例如，在尽心计算机辅助医学影响分析时，可以从医院获得大量医学影响，但若希望医学专家把影像中的病灶全部标记出来则是不现实的。“有标记数据少，未标记数据多”这个现象在互联网应用中更明显，例如在进行网页推荐时需请用户标记出感兴趣的网页，但很少有用户愿意花很多时间来提供标记，因此，有标记网页样本少，但在互联网上存在无数网页可作为未标记样本来使用。半监督学习恰是提供了一条利用“廉价”的未标记样本的途径。
要利用未标记样本，必须要做一些将未标记样本所揭示的数据分布信息与类别标记相联系的假设。最常见的是 “聚类假设”（cluster assumption），即假设数据存在簇结构，同一个簇的样本属于同一个类别。如上图基于聚类假设来利用未标记样本，由于待预测样本与正例样本通过未标记样本的“撮合”聚在一起，与相对分离的反例样本相比，待判别样本更属于正类。半监督学习中另一个常见的假设是“流形假设”（manifold assumption），即假设数据分布在一个流形结构上，邻近的样本拥有相似的输出值。“邻近”程度常用“相似”程度来刻画，因此，流形假设可看作聚类假设的推广，但流形假设对输出值没有限制，因此比聚类假设的适用性范围更广，可用于更多类型的学习任务。事实上，无论聚类假设还是流形假设，其本质就是“相似的样本拥有相似的输出”这个基本假设。
半监督学习可进一步划分为纯（pure）半监督学习和直推学习（transductive learning），前者假定训练数据中的未标记样本并非待预测的数据，而后者假定学习过程中所考虑的未标记样本恰是待预测数据，学习的目的就是在这些未标记样本上获得最优泛化性能。换言之，纯半监督学习是基于“开放世界”假设，希望学得模型能适用于训练过程中未观察到的数据；而直推学习是基于“封闭世界”假设，仅试图对学习过程中观察到的未标记数据进行预测。如下图，直观地显示出主动学习、纯半监督学习、直推学习的区别。需注意的是，纯半监督学习和直推学习常合称为半监督学习

二、生成式方法

• 生成式方法（generative methods） 是直接基于生成式模型的方法。此类方法假设所有数据（无论是否标记）都是由同一个潜在的模型“生成”的。这个假设使得我们能够通过潜在的参数将未标记数据与学习目标联系起来，而未标记数据的标记则可看作模型的缺失参数，通常可基于EM算法进行极大似然估计求解。此类方法的区别主要在于生成式模型的假设，不同的模型假设将产生不同的方法。
  给定样本$x\text{x}x$，其真实标记类别为$y\in \mathcal{Y}$，其中 Y = { 1 , 2 , ⋯   , N } \mathcal Y = \{1,2,\cdots,N\} Y={1,2,⋯,N}为所有可能的类别。假定样本由高斯混合模型生成，且每个类别对应一个高斯混合成分。换言之，数据样本是基于如下概率密度生成：
  $$p(x\text{x}x)=\sum _{i=1}^N{\alpha }_i\cdot p(x\text{x}x|{\mu \text{μ}\mu }_i,{\Sigma \text{Σ}\Sigma }_i),$$
  其中，混合系数${\alpha }_i\ge 0,{\sum }_{i=1}^N{\alpha }_i=1;p(x\text{x}x|{\mu \text{μ}\mu }_i,{\Sigma \text{Σ}\Sigma }_i)$是样本$x\text{x}x$属于第$i$个高斯混合成分的概率；${\mu \text{μ}\mu }_i$和${\Sigma \text{Σ}\Sigma }_i$为该高斯混合成分的参数。
  令$f(x\text{x}x)\in \mathcal{Y}$表示模型$f$对$x\text{x}x$的预测标记， Θ ∈ { 1 , 2 , ⋯   , N } \Theta\in \{1,2,\cdots,N\} Θ∈{1,2,⋯,N}表示样本$x\text{x}x$隶属的高斯混合成分。由最大化后验概率可知
  $$\begin{array}{rl}f(x\text{x}x)& =\underset{j\in \mathcal{Y}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}p(y=j|x\text{x}x)\\ & =\underset{j\in \mathcal{Y}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}\sum _{i=1}^{N}p(y=j,\Theta =i|x\text{x}x)\\ & =\underset{j\in \mathcal{Y}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}\sum _{i=1}^{N}p(y=j|\Theta =i,x\text{x}x)\cdot p(\Theta =i|x\text{x}x)\end{array}$$
  其中
  $$p(\Theta =i|x\text{x}x)=\frac{{\alpha }_i\cdot p(x\text{x}x|{\mu \text{μ}\mu }_i,{\Sigma \text{Σ}\Sigma }_i)}{{\sum }_{i=1}^N{\alpha }_i\cdot p(x\text{x}x|{\mu \text{μ}\mu }_i,{\Sigma \text{Σ}\Sigma }_i)}$$
  为样本$x\text{x}x$由第$i$个高斯混合成分生成的后验概率，$p(y=j|\Theta =i,x\text{x}x)$为$x\text{x}x$由第$i$个高斯混合成分生成且类别为$j$的概率。由于假设每个类别对应一个高斯混合成分，因此$p(y=j|\Theta =i,x\text{x}x)$仅与样本$x\text{x}x$所属的高斯混合成分$\Theta$有关，可用$p(y=j|\Theta =i)$代替。不失一般性，假定第i个类别对应于第i个高斯混合成分，即$p(y=j|\Theta =i)=1$当且仅当$i=j$，否则$p(y=j|\Theta =i)=0$
  不难发现，$p(y=j|\Theta =i,x\text{x}x)$需知道样本的标记，因此仅能使用有标记数据；而$p(\Theta =i|x\text{x}x)$不涉及样本标记，因此有标记和未标记数据均可利用，通过引入大量的未标记数据，对这一项的估计可望由于数据量的增长而更为准确，于是整体的估计可能会更准确。由此可清楚地看出未标记数据何以辅助提高分类器模型的性能。
  给定有标记样本集 D l = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x l , y l ) } D_l = \{(\pmb x_1,y_1),(\pmb x_2,y_2),\cdots,(\pmb x_l,y_l)\} Dl​={(xxx1​,y1​),(xxx2​,y2​),⋯,(xxxl​,yl​)}和未标记样本集 D u = { ( x l + 1 , y l + 1 ) , ( x l + 2 , y l + 2 ) , ⋯   , ( x l + u , y l + u ) } , l ≪ u , l + u = m D_u = \{(\pmb x_{l+1},y_{l+1}),(\pmb x_{l+2},y_{l+2}),\cdots,(\pmb x_{l+u},y_{l+u})\},l\ll u,l+u = m Du​={(xxxl+1​,yl+1​),(xxxl+2​,yl+2​),⋯,(xxxl+u​,yl+u​)},l≪u,l+u=m。假设所有样本独立同分布，且都是由同一个高斯混合模型生成的。用极大似然法来估计高斯混合模型的参数 { ( α i , μ i , Σ i ) ∣ 1 ≤ i ≤ N } ， D l ∪ D u \{(\alpha_i,\pmb \mu_i,\pmb \Sigma_i)|1\le i\le N\}，D_l\cup D_u {(αi​,μ​μ​​μi​,ΣΣΣi​)∣1≤i≤N}，Dl​∪Du​的对数似然是
  $$\begin{array}{rl}LL(D_l\cup D_u)& =\sum _{(x_j,y_j)\in D_l}\ln (\sum _{i=1}^N{\alpha }_i\cdot p({x\text{x}x}_j|{\mu \text{μ}\mu }_i,{\Sigma }_i)\cdot p(y_j|\Theta =i,{x\text{x}x}_j))\\ & +\sum _{x_j\in D_u}\ln (\sum _{i=1}^N{\alpha }_i\cdot p({x\text{x}x}_j|{\mu \text{μ}\mu }_i,{\Sigma }_i))\end{array}$$
  上式由两项组成：基于有标记数据$D_l$的有监督项和基于未标记数据$D_u$的无监督项。显然，高斯混合模型参数估计可用EM算法求解，迭代更新式如下
• E步：根据当前模型参数计算未标记样本${x\text{x}x}_j$属于各高斯混合成分的概率
  $${\gamma }_{ji}=\frac{{\alpha }_i\cdot p({x\text{x}x}_j|{\mu \text{μ}\mu }_i,{\Sigma \text{Σ}\Sigma }_i)}{{\sum }_{i=1}^N{\alpha }_i\cdot p({x\text{x}x}_j|{\mu \text{μ}\mu }_i,{\Sigma \text{Σ}\Sigma }_i)}$$
• M步：基于${\gamma }_{ji}$更新模型参数，其中$l_i$表示第$i$类的有标记样本数目
  $$\begin{array}{rl}{\mu \text{μ}\mu }_i& =\frac{1}{{\sum }_{x_j\in D_u}{\gamma }_{ji}+l_i}(\sum _{x_j\in D_u}{\gamma }_{ji}{x\text{x}x}_j+\sum _{(x_j,y_j)\in D_l\wedge y_j=i}{x\text{x}x}_j),\\ {\Sigma \text{Σ}\Sigma }_i& =\frac{1}{{\sum }_{x_j\in D_u}{\gamma }_{ji}+l_i}(\sum _{x_j\in D_u}{\gamma }_{ji}({x\text{x}x}_j-{\mu \text{μ}\mu }_i)({x\text{x}x}_j-{\mu \text{μ}\mu }_i{)}^T+\sum _{(x_j,y_j)\in D_l\wedge y_j=i}({x\text{x}x}_j-{\mu \text{μ}\mu }_i)({x\text{x}x}_j-{\mu \text{μ}\mu }_i{)}^T),\\ {\alpha }_i& =\frac{1}{m}(\sum _{x_j\in D_u}{\gamma }_{ji}+l_i)\end{array}$$
  上述过程不断迭代直至收敛，即可获得模型参数。
  将上述过程中的高斯混合模型换成混合专家模型、朴素贝叶斯模型等即可推导出其他的生成式半监督学习方法。此类方法简单，易于实现，在有标记数据极少的情形下往往比其他方法性能更好。然而，此类方法有一个关键：模型假设必须准确，即假设的生成式模型必须与真实数据分布吻合；否则利用未标记数据反倒会降低泛化性能。遗憾的是，在现实任务中往往很难事先做出准确的模型假设，除非拥有充分可靠的领域知识。

三、半监督SVM

• 半监督支持向量机（Semi-Supervised Support Vector Machine，简称S3VM） 是支持向量机在半监督学习上的推广。在不考虑未标记样本时，支持向量机试图找到最大间隔划分超平面，而在考虑未标记样本后，S3VM试图找到能将两类有标记样本分开，且穿过数据低密度区域的划分超平面，如下图，这里的基本假设是“低密度分隔”（low-density separation），显然，这是聚类假设在考虑了线性超平面划分后的推广。
• 半监督支持向量机中最著名的是 TSVM（Transductive Support Vector Machine）。与标准SVM一样，TSVM也是针对二分类问题的学习方法。TSVM试图考虑对未标记样本进行各种可能的标记指派（label assignment），即尝试将每个未标记样本分别作为正例或反例，然后在所有这些结果中，寻求一个在所有样本（包括有标记样本和进行了标记指派的未标记样本）上间隔最大化的划分超平面。一旦划分超平面得以确定，未标记样本的最终标记指派就是其预测结果。
  形式化地说，给定 D l = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x l , y l ) } D_l = \{(\pmb x_1,y_1),(\pmb x_2,y_2),\cdots,(\pmb x_l,y_l)\} Dl​={(xxx1​,y1​),(xxx2​,y2​),⋯,(xxxl​,yl​)}和 D u = { ( x l + 1 , y l + 1 ) , ( x l + 2 , y l + 2 ) , ⋯   , ( x l + u , y l + u ) } D_u = \{(\pmb x_{l+1},y_{l+1}),(\pmb x_{l+2},y_{l+2}),\cdots,(\pmb x_{l+u},y_{l+u})\} Du​={(xxxl+1​,yl+1​),(xxxl+2​,yl+2​),⋯,(xxxl+u​,yl+u​)}，其中 y i ∈ { − 1 , + 1 } , l ≪ u , l + u = m y_i\in\{-1,+1\},l\ll u,l+u = m yi​∈{−1,+1},l≪u,l+u=m。TSVM的学习目标是为$D_u$中的样本给出预测标记$\widehat{y\text{y}y}=({\hat{y}}_{l+1},{\hat{y}}_{l+2},\cdots ,{\hat{y}}_{l+u})$，使得
  $$\begin{array}{rl}\underset{w,b,\hat{y},\xi }{\min }& \frac{1}{2}||w\text{w}w|{|}_2^2+C_l\sum _{i=1}^l{\xi }_i+C_u\sum _{i=l+1}^m{\xi }_i\\ s.t.& y_i({w\text{w}w}^T{x\text{x}x}_i+b)\ge 1-{\xi }_i,i=1,2,\cdots ,l,\\ & {\hat{y}}_i({w\text{w}w}^T{x\text{x}x}_i+b)\ge 1-{\xi }_i,i=l+1,l+2,\cdots ,m,\\ & \xi \ge 0,i=1,2,\cdots ,l,\end{array}$$
  其中，$(w\text{w}w,b)$确定了一个划分超平面；$\xi \text{ξ}\xi$为松弛向量，${\xi }_i(i=1,2,\cdots ,l)$对应于有标记样本，${\xi }_i(i=l+1,l+2,\cdots ,m)$对应于未标记样本；$C_l$和$C_l$是由用户指定的用于平衡模型复杂度、有标记样本与未标记样本重要程度的折中参数。
  显然，尝试未标记样本的各种标记指派是一个穷举过程，仅当未标记样本很少时才有可能直接求解。在一般情形下，必须考虑更高效的优化策略。
  TSVM采用局部搜索来迭代地寻找近似解。具体来说，它先利用有标记样本学得一个SVM，即忽略关于$D_u$与$\widehat{y\text{y}y}$的项及约束。然后，利用这个SVM对未标记数据进行标记指派（label assignment），即将SVM预测的结果所谓 “伪标记”（pseudo-label） 赋予未标记样本。此时$\widehat{y\text{y}y}$称为已知，将其带入即得到一个标准SVM问题，于是可求解出新的划分超平面和松弛向量；注意到此时未标记样本的伪标记很可能不准确，因此$C_u$要设置为比$C_l$小的值，使有标记样本所起作用更大。接下来，TSVM找出两个标记指派为异类且很可能发生错误的未标记样本，交换它们的标记，再重新基于上式求解更新后的划分超平面和松弛变量，然后再找出两个标记指派为异类且很可能发生错误的未标记样本，$\cdots$标记指派调整完成后，逐渐增大$C_u$以提高未标记样本对优化目标的影响，进行下一轮标记指派，直至$C_u=C_l$为止。此时求解得到的SVM不仅给未标记样本提供了标记，还能对训练过程中未见的示例进行预测。
  
  在对未标记样本进行标记指派及调整的过程中，有可能出现类别不平衡问题，即某类的样本远多于另一类，这将对SVM的训练造成困扰。为了减轻类别不平衡性所造成的不利影响，可对上图中算法稍加改进：将优化目标中的$C_u$项拆分为$C_u^{+}$和$C_u^{-}$两项，分别对应基于伪标记而作正、反例使用的未标记样本，并在初始化时令
  $$C_u^{+}=\frac{u_{-}}{u_{+}}{C}_u^{-}$$
  其中$u_{+}$与$u_{-}$为基于伪标记而当作正、反例使用的未标记样本数。
  显然，搜寻标记指派可能出错的每一对未标记样本进行调整，是一个涉及巨大计算开销的大规模优化问题。因此，半监督SVM研究的一个重点是如何设计出高效的优化求解策略，由此发展出很多方法，如基于图核（graph kernel）函数梯度下降的LDS、基于标记均值估计得meanS3VM等

四、图半监督学习

给定一个数据集，我们可将其映射为一个图，数据集中每个样本对应于图中一个结点，若两个样本之间得相似度很高（或相关性很强），则对应的结点之间存在一条边，边的 “强度”（strength） 正比于样本之间的相似度（或相关性）。可将有标记样本所对应的结点想象为染过色，而未标记样本所对应的结点尚未染色。于是，半监督学习就对应于“颜色”在图上扩散或传播的过程。由于一个图对应了一个矩阵，这就使我们能基于矩阵运算来进行半监督学习算法推导与分析。
给定 D l = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x l , y l ) } D_l = \{(\pmb x_1,y_1),(\pmb x_2,y_2),\cdots,(\pmb x_l,y_l)\} Dl​={(xxx1​,y1​),(xxx2​,y2​),⋯,(xxxl​,yl​)}和 D u = { ( x l + 1 , y l + 1 ) , ( x l + 2 , y l + 2 ) , ⋯   , ( x l + u , y l + u ) } D_u = \{(\pmb x_{l+1},y_{l+1}),(\pmb x_{l+2},y_{l+2}),\cdots,(\pmb x_{l+u},y_{l+u})\} Du​={(xxxl+1​,yl+1​),(xxxl+2​,yl+2​),⋯,(xxxl+u​,yl+u​)}，其中 y i ∈ { − 1 , + 1 } , l ≪ u , l + u = m y_i\in\{-1,+1\},l\ll u,l+u = m yi​∈{−1,+1},l≪u,l+u=m。先基于$D_l\cup D_u$构建一个图$G=(V,E)$，其中结点集 V = { x 1 , ⋯   , x l , x l + 1 , ⋯   , x l + u } V=\{\pmb x_1,\cdots,\pmb x_l,\pmb x_{l+1},\cdots,\pmb x_{l+u}\} V={xxx1​,⋯,xxxl​,xxxl+1​,⋯,xxxl+u​}，边集E可表示为一个 亲和矩阵（affinity matrix）
，常基于高斯函数定义为
$$(W\text{W}W{)}_{ij}=\{\begin{array}{l}\exp \left(\frac{-||x_i-x_j|{|}_2^2}{2{\sigma }^2}\right),\mathrm{if}i\ne j;\\ 0,\mathrm{otherwise}\end{array}$$
其中 i , j ∈ { 1 , 2 , ⋯   , m } , σ > 0 i,j\in\{1,2,\cdots,m\},\sigma>0 i,j∈{1,2,⋯,m},σ>0是用户指定的高斯函数带宽参数。
假定从图$G=(V,E)$将学得一个实值函数$f:V\to R$，其对应的分类规则为： y i = s i g n ( ( f ( x i ) ) , y i ∈ { − 1 , + 1 } y_i = sign((f(\pmb x_i)),y_i\in\{-1,+1\} yi​=sign((f(xxxi​)),yi​∈{−1,+1}.直观上看，相似的样本应具有相似的标记，于是可定义关于$f$的“能量函数”（energy function）
$$\begin{array}{rl}E(f)& =\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m(W\text{W}W{)}_{ij}(f({x\text{x}x}_i)-f({x\text{x}x}_j){)}^2\\ & =\frac{1}{2}(\sum _{i=1}^m{d}_i{f}^2({x\text{x}x}_i)+\sum _{j=1}^m{d}_j{f}^2({x\text{x}x}_j)-2\sum _{i=1}^m\sum _{j=1}^m(W\text{W}W{)}_{ij}f({x\text{x}x}_i)f({x\text{x}x}_j))\\ & =\sum _{i=1}^m{d}_i{f}^2({x\text{x}x}_i)-\sum _{i=1}^m\sum _{j=1}^m(W\text{W}W{)}_{ij}f({x\text{x}x}_i)f({x\text{x}x}_j)\\ & ={f\text{f}f}^T(D\text{D}D-W\text{W}W)f\text{f}f\end{array}$$
其中$f\text{f}f=({f\text{f}f}_l^T{f\text{f}f}_u^T{)}^T,{f\text{f}f}_l=(f({x\text{x}x}_1);f({x\text{x}x}_2);\cdots ;f({x\text{x}x}_l)),{f\text{f}f}_u=(f({x\text{x}x}_{l+1});f({x\text{x}x}_{l+2});\cdots ;f({x\text{x}x}_{l+u}))$分别为函数$f$在有标记样本与未标记样本上的预测结果，$D\text{D}D=\mathrm{diag}(d_1,d_2,\cdots ,d_{l+u})$是一个对角矩阵，其对角元素$d_i={\sum }_{j=1}^{l+u}(W\text{W}W{)}_{ij}$为矩阵$W\text{W}W$的第$i$行元素之和。
具有最小能量的函数$f$在有标记样本上满足$f({x\text{x}x}_i)=y_i(i=1,2,\cdots ,l)$，在未标记样本上满足$\Delta f\text{f}f=0\text{0}0$，其中$\Delta =D\text{D}D-W\text{W}W$为拉普拉斯矩阵（Laplacian matirx）。以第$l$行与第$l$列为界，采用分块矩阵表示方式：
$$W\text{W}W=\left[\begin{array}{cc}{W\text{W}W}_{ll}& {W\text{W}W}_{lu}\\ {W\text{W}W}_{ul}& {W\text{W}W}_{uu}\end{array}\right]$$,
$$D\text{D}D=\left[\begin{array}{cc}{D\text{D}D}_{ll}& {0\text{0}0}_{lu}\\ {0\text{0}0}_{ul}& {D\text{D}D}_{uu}\end{array}\right]$$，则上式可重写为
$$\begin{array}{rl}E(f)& =({f\text{f}f}_l^T{f\text{f}f}_u^T)(\left[\begin{array}{cc}{D\text{D}D}_{ll}& {D\text{D}D}_{lu}\\ {D\text{D}D}_{ul}& {D\text{D}D}_{uu}\end{array}\right]-\left[\begin{array}{cc}{W\text{W}W}_{ll}& {W\text{W}W}_{lu}\\ {W\text{W}W}_{ul}& {W\text{W}W}_{uu}\end{array}\right])\left[\begin{array}{c}{f\text{f}f}_l\\ {f\text{f}f}_u\end{array}\right]\\ & ={f\text{f}f}_l^T(D_{ll}-W_{ll}){f\text{f}f}_l-2{f\text{f}f}_u^T{W\text{W}W}_{ul}{f\text{f}f}_l+{f\text{f}f}_u^T({D\text{D}D}_{uu}-{W\text{W}W}_{uu}){f\text{f}f}_u\end{array}$$
由$\frac{\partial E(f)}{\partial f_u}=0$可得
$${f\text{f}f}_u=({D\text{D}D}_{uu}-{W\text{W}W}_{uu}{)}^{-1}{W\text{W}W}_{ul}{f\text{f}f}_l$$
令

后续步骤略

于是将$D_l$上的标记信息作为${f\text{f}f}_l=(y_1;y_2;\cdots ;y_l)$代入，即可利用求得的${f\text{f}f}_u$对未标记样本进行预测。
上述描述的是一个针对二分类问题的 **标记传播（label propagation）**方法，下面来看一个适用于多分类问题的标记传播方法
假定$y_i\in \mathcal{Y}$，仍基于$D_l\cup D_u$构建一个图$G=(V,E)$，其中结点集 V = { x 1 , ⋯   , x l , ⋯   , x l + u } V = \{\pmb x_1,\cdots,\pmb x_l,\cdots,\pmb x_{l+u}\} V={xxx1​,⋯,xxxl​,⋯,xxxl+u​}，边集E所对应的$W\text{W}W$仍使用上述亲和矩阵，对角矩阵$D\text{D}D=\mathrm{diag}(d_1,d_2,\cdots ,d_{l+u})$的对角元素$d_i={\sum }_{j=1}^{l+u}(W\text{W}W{)}_{ij}$。定义一个$(l+u)\times |\mathcal{Y}|$的非负标记矩阵$F\text{F}F=({F\text{F}F}_1^T,{F\text{F}F}_2^T,\cdots ,{F\text{F}F}_{l+u}^T)$，其第$i$行元素${F\text{F}F}_i=((F\text{F}F{)}_{i1},(F\text{F}F{)}_{i2},\cdots ,(F\text{F}F{)}_{i|\mathcal{Y}|},)$为示例${x\text{x}x}_i$的标记向量，相应的分类规则为：$y_i={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}_{1\le j\le |\mathcal{Y}|}(F\text{F}F{)}_{ij}$
对$i=1,2,\cdots ,m,j=1,2,\cdots ,|\mathcal{Y}|$，将$F\text{F}F$初始化为
$$F\text{F}F(0)=(Y\text{Y}Y{)}_{ij}=\{\begin{array}{l}1,\mathrm{if}(1\le i\le l)\wedge (y_j=j)\\ 0,\mathrm{otherwise}\end{array}$$
显然，$Y\text{Y}Y$的前$l$行就是$l$个有标记样本的标记向量。
基于$W\text{W}W$构造一个标记传播矩阵$S\text{S}S={D\text{D}D}^{\frac{1}{2}}W\text{W}W{D\text{D}D}^{\frac{1}{2}}$，其中${D\text{D}D}^{\frac{1}{2}}=\mathrm{diag}(\frac{1}{\sqrt{d_1}},\frac{1}{\sqrt{d_2}},\cdots ,\frac{1}{\sqrt{d_{l+u}}})$，于是有迭代计算式
$$F\text{F}F(t+1)=\alpha S\text{S}SF\text{F}F(t)+(1-\alpha )Y\text{Y}Y$$
其中$\alpha \in (0,1)$为用户指定的参数，用于对标记传播项$S\text{S}SF\text{F}F(t)$与初始化项$Y\text{Y}Y$重要性进行折中。基于上式迭代收敛可得
$${F\text{F}F}^{\ast }=\underset{t\to \infty }{\lim }F\text{F}F(t)=(1-\alpha )(I\text{I}I-\alpha S\text{S}S{)}^{-1}Y\text{Y}Y$$
由${F\text{F}F}^{\ast }$可获得$D_u$中样本的标记$({\hat{y}}_{l+1},{\hat{y}}_{l+2},\cdots ,{\hat{y}}_{l+u})$。算法描述如下
事实上，上图中的算法对应于正则化框架
$$\underset{F}{\min }\frac{1}{2}(\sum _{i,j=1}^{l+u}(W\text{W}W{)}_{ij}\left|\right|\frac{1}{\sqrt{d_i}}{F\text{F}F}_i-\frac{1}{\sqrt{d_j}}{F\text{F}F}_j\left|{|}^2\right)+\mu \sum _{i=1}^l||{F\text{F}F}_i-{Y\text{Y}Y}_i|{|}^2$$
其中$\mu >0$为正则化参数。当$\mu =\frac{1-\alpha }{\alpha }$时，上式的最优解恰为图中算法的迭代收敛解${F\text{F}F}^{\ast }$。
上式右边第二项是迫使学得结果在有标记样本上的预测与真实标记尽可能相同，而第一项则迫使相近样本具有相似的标记。
图半监督学习算法在概念上相当清晰，且易于通过对所涉及矩阵运算的分析来探索算法的性质。但此类算法的缺陷也相当明显。首先是在存储开销上，若样本数$O(m)$，则算法所设计的矩阵规模为$O(m^2)$，这使得此类算法很难直接处理大规模数据。另一方面，由于构图过程仅能考虑训练样本集，难以判知新样本在图中的位置，因此，在接受到新样本时，或是将其加入原数据集对图进行重构并重新进行标记传播，或是需引入额外的预测机制，例如将$D_l$和经标记传播后得到标记的$D_u$合并作为训练集，另外训练一个学习去例如支持向量机来对新样本进行预测。

五、基于分歧的方法

与生成式方法、半监督SVM、图半监督学习等基于单学习去利用未标记数据不同，基于分歧的方法（disagreement-based methods） 使用多学习器，而学习去之间的“分歧”（disagreement）对未标记数据的利用至关重要。
“协同训练”（co-training） 是此类方法的重要代表，最初是针对 “多视图”（multi-view） 数据设计的，因此也被看作 “多视图学习”（multi-view learning） 的代表。
在不少现实应用中，一个数据对象往往同时拥有多个 “属性集”（attribute set），每个属性集就构成了一个 “视图”（view）。例如对一部电影来说，它拥有多个属性集：图像画面信息所对应的属性集、声音信息所对应的属性集等。每个属性集都可看作一个视图。为简化讨论，暂且仅考虑图像画面属性集所构成的视图和声音属性所构成的视图。于是，一个电影片段可表示为样本$(⟨{x\text{x}x}^1,{x\text{x}x}^2⟩,y)$，其中${x\text{x}x}^i$是样本在视图$i$中的示例，即基于该视图属性描述而得的属性向量，不妨假设${x\text{x}x}_1$为图像视图中的属性向量，${x\text{x}x}_2$为声音视图中的属性向量；$y$是标记，假定是电影的类型，例如“动作片”、“爱情片”等。$(⟨{x\text{x}x}^1,{x\text{x}x}^2⟩,y)$这样的数据就是多视图数据。
假定不同视图具有 “相容性”（compatibility） 即其所包含的关于输出空间$\mathcal{Y}$的信息是一致的：令${\mathcal{Y}}^1$表示从图像画面信息判别的标记空间，${\mathcal{Y}}^2$表示从声音信息判别的标记空间，则有$\mathcal{Y}={\mathcal{Y}}^1={\mathcal{Y}}^2$.在此假设下，显式地考虑多视图有很多好处。仍以电影为例，某个片段上有两人对视，仅凭图像画面信息难以分辨其类型，但此时若从声音信息听到“我爱你”，则可判断出该片段很可能属于“爱情片”；另一方面，若仅凭图像画面信息认为“可能是动作片”，仅凭声音信息也认为“可能是动作片”，则当两者一起考虑时就有很大的把握判别为“动作片”。显然，在“相容性”基础上，不同视图信息的“互补性”会给学习去的构建带来很多便利。
协同训练正式很好地利用了多视图的“相容互补性”。假设数据拥有两个充分（sufficient）且条件独立视图，“充分”是指每个视图都包含足以产生最优学习器的信息，“条件独立”则是指在给定类别标记条件下两个视图独立。在此情形下，可用一个简单的办法来利用未标记数据：首先在每个视图上基于有标记的样本分别训练出一个分类器，然后让每个分类器分别去挑选自己“最有把握的”未标记样本赋予伪标记，并将伪标记样本提供给另一个分类器作为新增的有标记样本用于训练更新$\cdots \cdots$这个“互相学习、共同进步”的过程不断迭代进行，直至两个分类器都不再发生变化，或达到预先设定的迭代轮数为止。
算法如图所示，若在每轮学习中都考察分类器在所有未标记样本上的分类置信度，会有很大的计算开销，因此在算法中使用了未标记样本缓冲池。分类置信度的估计则因基学习算法$\mathfrak{L}$而异，例如若使用朴素贝叶斯分类器，则可将后验概率转化为分类置信度；若使用支持向量机，则可将间隔大小转化为分类置信度。
协同训练过程虽简单，但令人惊讶的是，理论证明显示出，若两个视图充分且条件独立，则可利用未标记样本通过协同训练将弱分类器的泛化性能提升到任意高。不过，视图的条件独立性在现实任务中通常很难满足，因此性能提升幅度不会那么大，但研究表明，即便在更弱的条件下，协同训练仍可有效地提升弱分类器的性能。
协同训练算法本身是为多视图数据而设计的，但此后出现了一些能在单视图数据上使用的变体算法，它们或是使用不同的学习算法，或是使用不同的数据采样，甚至使用不同的参数设置来产生不同的学习去，也能有效的利用未标记数据来提升性能。后续理论研究发现，此类算法事实上无需数据拥有多视图，仅需若学习器之间具有显著的分歧（或差异），即通过相互提供伪标记样本的方式来提升泛化性能；不同视图、不同算法、不同采样、不同参数设置等，都仅是产生差异的渠道，而非必要条件。
基于分歧的方法只需采用合适的基学习器，就能较少受到模型假设、损失函数非凸性和数据规模问题的影响，学习方法简单有效、理论基础相对坚实、适用范围较为广泛。为了使用此类方法，需能生成具有显著分歧、性能尚可的多个学习器，但当有标记样本较少，尤其是数据不具有多视图时，要做到这一点并不容易，需有巧妙的设计。

六、半监督聚类

聚类是一种典型的无监督学习任务，然而在现实聚类任务中往往能获得一些额外的监督信息，于是可通过半监督聚类（semi-supervised clustering）来利用监督信息以获得更好的聚类效果。
聚类任务中获得的监督信息大致有两种类型。第一种类型是 “必连”（must-link） 与 “勿连”（connot-link），前者是指样本比属于同一个簇，后者是指样本比不属于同一个簇；第二种类型的监督信息则是少量的有标记样本。
约束k均值（Constrained k-means）算法是利用第一类监督信息的代表。给定样本集 D = { x 1 , x 2 , ⋯   , x 3 } D = \{\pmb x_1,\pmb x_2,\cdots,\pmb x_3\} D={xxx1​,xxx2​,⋯,xxx3​}以及“必连”关系集合$\mathcal{M}$和“勿连”关系集合$\mathcal{C},({x\text{x}x}_i,{x\text{x}x}_j)\in \mathcal{M}$表示${x\text{x}x}_i$与${x\text{x}x}_j$必属于同簇，$({x\text{x}x}_i,{x\text{x}x}_j)\in \mathcal{C}$表示两者必不属于同簇。该算法是k均值算法的拓展，它在聚类过程中要确保$\mathcal{M}$与$\mathcal{C}$中的约束得以满足，否则将返回错误提示，算法如下

第二种监督信息是少量有标记样本。给定样本集 D = { x 1 , x 2 , ⋯   , x m } D = \{\pmb x_1,\pmb x_2,\cdots,\pmb x_m\} D={xxx1​,xxx2​,⋯,xxxm​}，假定少量的有标记样本为$S={\bigcup }_{j=1}^k{S}_j\subset D$，其中$S_j\ne \varnothing$为隶属于第j个聚类簇的样本。这样的监督信息利用起来很容易：直接将它们作为“种子”，用它们初始化k均值算法的k个聚类中心，并且在聚类迭代更新过程中不改变种子样本的隶属关系。这样就得到了约束种子k均值（Constrained Seed k-mean）算法，算法如下