半监督学习（一）--(GMM/EM/Based on Graph)

参考博客：https://blog.csdn.net/lin_limin/article/details/81048411

1 背景

1.1 基本背景介绍

避免数据和资源的浪费，解决了监督学习由于数据量较少而引发模型泛化能力不强，和无监督学习的模型不够准确（盲猜）等问题。

所有的半监督学习都需要基于某些假设，半监督算法仅在数据的结构不变的假设下起作用，如果没有这样的假设，不可能从有限的训练集推广到无限的不可见集合（X_test是随机的，属于一个无限集合）。常见的三个假设如下：

1.2 基本假设

• 平滑假设（高密度相似）

稠密区域的两个距离很近的样例类标签相似，即当两个样例被稠密数据区域中的边连接时，它们很大概率下有相同的标签。【距离度量、阈值选取】

• 聚类假设（低密度分离）

当两个样例位于同一聚类簇时，它们在很大的概率下有相同的类标签。这个假设的等价定义为低密度分离假设，即分类决策边界应该穿过稀疏数据区域，而避免将稠密数据区域的样例分到决策边界两侧。

• 流形假设（局部邻域相似）

将高维数据嵌入到低维流形中，当两个样例位于低维流形中的一个小局部邻域内时，它们具有相似的类标签。

2 问题描述

2.1 主动学习与半监督学习【使用了未标记数据的学习划分为两种】

• 主动学习（每次学习都只用有标记数据进行训练）
  • 先使用现有的有标签数据训练一个模型
  • 将未标签数据进行查询标记，作为真实标记重新进行训练（动态）

下面考虑如何在没有额外信息（主动学习中给未标记样本贴标签）时，充分利用未标记样本，若未标记样本从相同数据源独立同分布采样而来，则其信息具有很大价值。

由此引出两种半监督学习（在未标记样本上取得最佳泛化能力）

• 纯半监督学习（归纳学习）

  假设：训练数据中的未标记样本并非待预测的数据（“开放世界”）

  直接利用有标记数据和未标记数据（非待测数据）进行训练出一个模型，然后对待测数据进行预测。

  目的：希望模型能适用于训练过程中未观察到的数据

• 直推学习

  假设：未标记样本恰是待预测数据。（“封闭世界”）

  利用有标记数据和未标记数据训练出来的模型，对未标记数据进行预测。

  目的：仅试图对学习过程中观察到的未标记数据进行预测

主动学习中给未标签数据贴标签的操作，可以说是直推学习吧？

3 方法介绍

3.1 混合模型与EM算法（最大期望算法）

3.1.1 GMM的引入

为什么要使用高斯混合模型？为了更好的解释，先介绍一下单高斯模型（GSM）

单高斯模型（GSM）

一维高斯分布的概率密度函数：

$f(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$

多维高斯分布的概率密度函数：

$f(X)=\frac{1}{(2\pi {)}^{d/2}|\Sigma {|}^{1/2}}\exp \left[-\frac{1}{2}(X-u{)}^T{\Sigma }^{-1}(X-u)\right],X=\left(x_1,x_2\dots x_n\right)$

其中：

d：变量的维度。

$u=\left(\begin{array}{c}{u}_1\\ u_2\\ \cdots \\ u_n\end{array}\right)$：各变量的均值。

协方差矩阵$\Sigma =\left[\begin{array}{ll}{\delta }_{11}& {\delta }_{12}\\ {\delta }_{21}& {\delta }_{22}\end{array}\right]$：描述各维度变量之间的相关性，以二维高斯分布为例。

上图以二维高斯分布为例，数据主要分布在一个椭圆内部；服从三维的数据集主要在一个椭球内部。

但是许多时候单高斯模型并不适用，例如下图的数据分布：

假设这组数据是由单个高斯分布产生，利用MLE极大似然估计进行参数估计，得到最佳的单高斯分布如下：

从上图可知，椭圆中心的样本量极小，很明显与这个单高斯分布不符，这样的数据分布更像是两个高斯分布混合形成的，此时就需要使用高斯混合模型了。【理论上高斯混合模型能拟合任意分布的样本，只要高斯模型个数足够多，权重设置足够合理】

3.1.2 Gaussian mixture model(GMM)【生成式模型】

假设混合高斯模型由k个高斯模型（k个类）组成，则其概率密度如下：

$\mathrm{p}(x)={\sum }_{i=1}^N{\alpha }_{i}p\left(x\mid {\mu }_i,{\Sigma }_i\right)$

${\alpha }_i>0,{\sum }_{i=1}^N{\alpha }_i=1$

其中，混合系数${\alpha }_i$表示第i个高斯模型的权重，第i个高斯分布的pdf如下：

$p\left(x\mid {\mu }_i,{\Sigma }_i\right)=\frac{1}{(2\pi {)}^{\frac{n}{2}}{|{\Sigma }_{\mathrm{i}}|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}{\left(\mathbf{x}-{\mathbf{\mu }}_i\right)}^T{\mathbf{\Sigma }}_{\mathrm{i}}^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_i\right)}$

3.1.3 估计单高斯分布的$\mu 和\Sigma$（MLE）

为了确定高斯分布的参数$\mu 和\Sigma$，我们使用极大似然估计MLE进行估计，最大化对数似然函数表示通过样本集的联合概率最大来对参数进行估计，从而选择最佳的分布模型，即估计参数的高斯分布能产生这组样本的可能性最大。

设样本$Y=y_1,y_2,...,y_N$，$p(y_i|\mu ,\Sigma )$是第i个高斯分布的概率密度函数，表示$Y=y_i$的概率。

假设样本的抽样是独立的，因此同时抽到这N个样本的概率为Y的联合概率，即每个高斯分布的概率密度函数的累乘。

$p\left(x\mid \mu ,\Sigma \right)=\frac{1}{(2\pi {)}^{\frac{n}{2}}{|\Sigma |}^{\frac{1}{2}}}{e}^{-\frac{1}{2}{\left(\mathbf{x}-\mathbf{\mu }\right)}^T{\mathbf{\Sigma }}^{-1}\left(\mathbf{x}-\mathbf{\mu }\right)}$

$L(\mu ,\Sigma )=L\left(y_1,y_2\dots y_N;\mu ,\Sigma \right)={\prod }_{i=1}^{N}p\left(y_i;\mu ,\Sigma \right)$

$LL(\mu ,\Sigma )=lnL(\mu ,\Sigma )={\sum }_i^{N}lnp\left(y_i;\mu ,\Sigma \right)$

令$LL(\mu ,\Sigma )=0$，求得的参数即为最佳高斯分布对应的参数。

$\{\begin{array}{c}\frac{\partial \ln L}{\partial \mu }=\frac{1}{{\Sigma }^2}{\sum }_{i=1}^N\left(x_i-\mu \right)=0\\ \frac{\partial \ln L}{\partial \left(\Sigma \right)}=-\frac{N}{2\Sigma }+\frac{1}{2{\Sigma }^2}{\sum }_{i=1}^N{\left(x_i-\mu \right)}^2=0\end{array}$

${\mu }_{MLE}=\frac{1}{N}{\sum }_{i=1}^N{x}_i$

${\Sigma }_{MLE}=\frac{1}{N}{\sum }_{i=1}^N{\left(x_i-{\mu }_{MLE}\right)}^2$

3.1.4 估计GMM的参数$(\mu ,\Sigma ,\alpha )$

• MLE无法对GMM的参数$(\mu ,\Sigma ,\alpha )$进行估计

引入隐变量$\gamma$，每次采样选择第k个高斯模型的概率，有：$p({\gamma }_k=1)={\alpha }_k$

此时y的条件分布为一个高斯分布：$$p\left(y\mid {\gamma }_k=1\right)=N\left(y\mid {\mu }_k,{\Sigma }_k\right)$$

而每个样本是由K个高斯模型中的某些模型采样而来，因此样本y的概率为：

$p(y)={\sum }_{\gamma }p(\gamma )p(y\mid \gamma )={\sum }_{\mathrm{k}=1}^K{\alpha }_{k}N\left(y\mid {\mu }_k,{\Sigma }_k\right)$

由此可知样本集Y的联合概率为：

$L(\mu ,\Sigma ,\alpha )=L\left(y_1,y_2\dots y_N;\mu ,\Sigma ,\alpha \right)={\prod }_{n=1}^{N}p\left(y_n;\mu ,\Sigma ,\alpha \right)={\prod }_{n=1}^N{\sum }_{\mathrm{k}=1}^K{\alpha }_{k}N\left(y_n\mid {\mu }_k,{\Sigma }_k\right)$

取对数后的对数似然函数为：

$\ln L(\mu ,\Sigma ,\alpha )={\sum }_{n=1}^N\ln {\sum }_{\mathrm{k}=1}^K{\alpha }_{k}N\left(y_n\mid {\mu }_k,{\Sigma }_k\right)$

由于对数似然函数中的对数里面还有求和$\sum$，因此无法使用求导计算对数似然函数的极大值。因此我们需要使用EM算法来进行参数估计，EM算法适用于解决数据缺失的参数估计问题。

• 由最大化后验概率计算模型f对x的预测标记

• 假设所有样本独立同分布，且都是由同一个高斯混合模型生成的，则MLE的对数似然函数：

$LL\left(D_l\cup D_u\right)={\sum }_{\left({\mathbf{x}}_j,y_j\right)\in D_l}\ln \left({\sum }_{i=1}^N{\alpha }_i\cdot p\left({\mathbf{x}}_j\mid {\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i\right)\cdot p\left(y_j\mid \Theta =i,{\mathbf{x}}_j\right)\right)$

​ $+{\sum }_{{\mathbf{x}}_j\in D_u}\ln \left({\sum }_{i=1}^N{\alpha }_i\cdot p\left({\mathbf{x}}_j\mid {\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i\right)\right)$

由两项组成，一项有标记数据，一项无标记数据。

• EM for GMM

Input： D = { ( x 1 , y 1 ) , … , ( x l , y l ) , x l + 1 , … , x l + u } \mathcal{D}=\left\{\left(\mathbf{x}_{1}, y_{1}\right), \ldots,\left(\mathbf{x}_{l}, y_{l}\right), \mathbf{x}_{l+1}, \ldots, \mathbf{x}_{l+u}\right\} D={(x1​,y1​),…,(xl​,yl​),xl+1​,…,xl+u​}

1、初始化${\alpha }_i,{\mu }_i,{\Sigma }_i$，依据MLE对已标记样本的参数估计。

• E-step

根据当前模型参数${\mu }_i,{\Sigma }_i$，计算未标记样本$x_j$属于各高斯混合成分的概率

${\gamma }_{ji}=\frac{{\alpha }_i\cdot p\left({\mathbf{x}}_j\mid {\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i\right)}{{\sum }_{i=1}^N{\alpha }_i\cdot p\left({\mathbf{x}}_j\mid {\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i\right)}$

${\gamma }_{ji}表示未标记样本$$x_j$的属于第i个高斯成分的概率

• M-step

基于${\gamma }_{ji}$更新参数

${\mathbf{\mu }}_i=\frac{1}{{\sum }_{{\mathbf{x}}_j\in D_u}{\gamma }_{ji}+l_i}\left({\sum }_{{\mathbf{x}}_j\in D_u}{\gamma }_{ji}{\mathbf{x}}_j+{\sum }_{\left({\mathbf{x}}_j,y_j\right)\in D_l\wedge y_j=i}{\mathbf{x}}_j\right)$

${\mathbf{\Sigma }}_i=\frac{1}{{\sum }_{{\mathbf{x}}_j\in D_u}{\gamma }_{ji}+l_i}({\sum }_{{\mathbf{x}}_j\in D_u}{\gamma }_{ji}\left({\mathbf{x}}_j-{\mathbf{\mu }}_i\right){\left({\mathbf{x}}_j-{\mathbf{\mu }}_i\right)}^{\mathrm{T}}$

​ $+{\sum }_{\left({\mathbf{x}}_j,y_j\right)\in D_l\wedge y_j=i}\left({\mathbf{x}}_j-{\mathbf{\mu }}_i\right){\left({\mathbf{x}}_j-{\mathbf{\mu }}_i\right)}^{\mathrm{T}})$

${\alpha }_i=\frac{1}{m}\left({\sum }_{{\mathbf{x}}_j\in D_u}{\gamma }_{ji}+l_i\right)$，$m=l+u$

不断迭代直至收敛，求得最终的模型参数，然后就能通过f(x)对样本进行分类。

总结：

1、上述过程中GMM模型能换成混合专家模型和朴素贝叶斯模型等，即可推导出其他生成式半监督学习算法。

2、此类方法较为简单，易于实现，在有标签数据极少的情况下往往比其他方法的性能更好。

3、此类方法的模型假设必须准确，假设的生成式模型必须与实际数据分布吻合，否则会降低泛化性能。

3.2 基于图的半监督学习

引入

3.2.1 图的构建

• 边权值的启发式方法

1、全连接图

使用高斯核函数度量边权值

$w_{ij}=\exp \left(-\frac{{\Vert {\mathbf{x}}_i-{\mathbf{x}}_j\Vert }^2}{2{\sigma }^2}\right)$

值域为(0,1]

2、KNN图

找到每个顶点在欧氏空间内最近的k个近邻点，其中一个顶点是另一个的KNN之一，则连接两个顶点，其边的权重为1；不相连的两个点的边权值为0。

3、εNN图

当$||x_i-x_j||$≤ε时，连接$x_i,x_j$，这些边既可加权又可不加权。否则，不加权。

3.2.2 MINCUT（如何对图进行最佳划分）

含义：将带有正标签的样本作为源点（从该点出发流经各点），负标签作为终点，目标是找到一个代价最小的边集，使得切断的边能将图划分为两部分，从而达到在最小风险下标记所有样本点的目的。

${\sum }_{i,j:f\left({\mathbf{x}}_i\right)\ne f\left({\mathbf{x}}_j\right)}{w}_{ij}$

表示最终预测的label不相同的点的相似度尽可能的小，从而表示模型准确性尽可能的高

问题转化：解决一个正则化的风险最小化问题（损失函数、正则化器）

对于有标签数据，其损失函数定义为：

$c(\mathbf{x},y,f(\mathbf{x}))=\infty \cdot (y-f(\mathbf{x}){)}^2$

此处定义∞×0=0，当有标记数据的预测值正确时，损失代价为0；否则为无穷大。

因此为了将正则化风险最小化，我们需要对所有的已标记数据预测准确，接着对正则化器最小化。

对于无标签数据，切割风险代价可写为：

$\Omega (f)={\sum }_{i,j=1}^{l+u}{w}_{ij}{\left(f\left({\mathbf{x}}_i\right)-f\left({\mathbf{x}}_j\right)\right)}^2/4$

若$x_i和x_j未连接$，则$w_{ij}为0$；若该边存在且未切割，则$f(x_i)-f(x_j)=0$，即表示预测为同一类时，代价为0；若该边存在且切割了，那么代价非0。

最终综合考虑下的正则化风险最小化问题（最小割问题）可写为：

min ⁡ f : f ( x ) ∈ { − 1 , 1 } ∞ ∑ i = 1 l ( y i − f ( x i ) ) 2 + ∑ i , j = 1 l + u w i j ( f ( x i ) − f ( x j ) ) 2 \min _{f: f(\mathbf{x}) \in\{-1,1\}} \infty \sum_{i=1}^{l}\left(y_{i}-f\left(\mathbf{x}_{i}\right)\right)^{2}+\sum_{i, j=1}^{l+u} w_{i j}\left(f\left(\mathbf{x}_{i}\right)-f\left(\mathbf{x}_{j}\right)\right)^{2} minf:f(x)∈{−1,1}​∞∑i=1l​(yi​−f(xi​))2+∑i,j=1l+u​wij​(f(xi​)−f(xj​))2

这是一个整数规划问题，同时也是属于直推式学习（仅对见过的未标记数据进行预测），由许多多项式时间的算法可以解决。

这种最小割问题可能存在多个最优解，如下图的六种切割方案风险代价相等，而选取切割左边的三个边的话，中间结点会被预测为负标签；选取右边三个边的话，中间结点会被预测为正标签。这种变异性是由于其他未标记结点的分布情况决定，反映了标签的confidence。接下来的方法就是用来计算这种confidence。

3.2.3 Harmonic Function（调和函数）

第二种基于图的半监督学习算法是调和函数f(x)

对于有标签数据，调和函数值为标签值；对于无标签数据，调和函数值为邻接结点标签纸的加权平均。

$f\left({\mathbf{x}}_i\right)=y_i,i=1\dots l$

$f\left({\mathbf{x}}_j\right)=\frac{{\sum }_{k=1}^{l+u}{w}_{jk}f\left({\mathbf{x}}_k\right)}{{\sum }_{k=1}^{l+u}{w}_{jk}},j=l+1\dots l+u.$

调和函数将原最小割问题的代价函数化简（松弛f使其值域为实数）为：

${\min }_{f:f(\mathbf{x})\in \mathbb{R}}{\sum }_{i,j=1}^{l+u}{w}_{ij}{\left(f\left({\mathbf{x}}_i\right)-f\left({\mathbf{x}}_j\right)\right)}^2$

subject to $f\left({\mathbf{x}}_i\right)=y_i$ for $i=1\dots l$

对f进行松弛使得f有一个闭式解，即目标方程具有全局最优解。不足之处是f(x)是一个[-1,1]的实数，不能作为一个标签，需要设定阈值进行处理【eg:若$f(x)\ge 0$，则predict y = 1；若$f(x)<0$，则predict y = -1】

调和函数有趣的解释：

图(a)：将图视为一个电力网络，每条边缘都是一个电阻（$1/w_{ij}$），每个结点两端的电压就是调和函数值f(x)

图(b)：将调和函数解释为图上的随机游走，结点i在下一个时间步长内，随机移动至结点j的概率为$P(j\mid i)=\frac{w_{ij}}{{\sum }_k{w}_{ik}}$

则结点i的调和函数值$f(x_i)$是粒子从i顶点出发，最终走到一个正标签的结点的概率。

求解调和函数的方式是迭代更新：

① 初始化：对于有标签结点， $f(x_i)=y_i$；对于无标签结点，f为任意值。

② 每一轮迭代：用无标签邻接结点的加权平均更新无标签结点的调和函数值$f(x_i)$。

$f\left({\mathbf{x}}_i\right)\leftarrow \frac{{\sum }_{j=1}^{l+u}{w}_{ij}f\left({\mathbf{x}}_j\right)}{{\sum }_{j=1}^{l+u}{w}_{ij}}$

由此可知，无论初始值为多少，以这种迭代的方式总能使最终的调和函数值收敛，这个过程也称为标签传播。

最后，我们讨论调和函数的闭式解：

$W$是一个$(l+u)\times (l+u)$由权重$w_{ij}$构成的矩阵，由于是无向图，W是对称且非负的，

$D$是一个$(l+u)\times (l+u)$由边权值的和${\sum }_i^{l+u}{w}_{ij}$构成的矩阵，也是对称且非负的。

非标准化的拉普拉斯矩阵$L=D-W$

另$\mathbf{f}={\left(f\left({\mathbf{x}}_1\right),\dots ,f\left({\mathbf{x}}_{l+u}\right)\right)}^{\top }$表示所有结点的调和函数向量，由此，正则项可写作：

$\frac{1}{2}{\sum }_{i,j=1}^{l+u}{w}_{ij}{\left(f\left({\mathbf{x}}_i\right)-f\left({\mathbf{x}}_j\right)\right)}^2={\mathbf{f}}^{\top }L\mathbf{f}$

对拉普拉斯矩阵L进行分块：$L=\left[\begin{array}{ll}{L}_{ll}& L_{lu}\\ L_{ul}& L_{uu}\end{array}\right]$

将$\mathbf{f}$划分为$({\mathbf{f}}_l,{\mathbf{f}}_u)$，并且$y_l=(y_1,...,y_l{)}^T$，然后使用拉格朗日乘子求解约束优化问题，可以证明调和解为：

$\begin{array}{rl}{\mathbf{f}}_l& ={\mathbf{y}}_l\\ {\mathbf{f}}_u& =-L_{uu}{}^{-1}{L}_{ul}{\mathbf{y}}_l.\end{array}$

eg:以上述的链式图为例，求

此时令结点集为(1,7,2,3,4,5,6)，以便将$\mathbf{f}$划分为$({\mathbf{f}}_l,{\mathbf{f}}_u)$。

最终计算得到：

$y_l=(1,-1{)}^T$

${\mathbf{f}}_u={\left(\frac{2}{3},\frac{1}{3},0,-\frac{1}{3},-\frac{2}{3}\right)}^{\top }$

对于从左到右的未标记结点，可以以0为阈值生成两种标签。在此，不同于3.2.2的MINCUT的是，其最优解在设定的阈值下是唯一的，而MINCUT往往是不唯一的。

3.2.4 Manifold Regularization（流形正则化）

上述的MINCUT和Harmonic Function都属于直推式学习（学习一个仅限于图中已标记和未标记结点的函数f，没有直接的方法预测以前未见过的测试样本的标签${}^1$，除非在图中添加新结点重复计算，而我们需要对大量数据进行预测，因此这种方式是不可取的，此时需要一个归纳式半监督学习算法）

对于已标记数据中的噪声的影响，我们有时需要拒绝给定的已标记数据的标签${}^2$。

流形正则化是一种通过整个特征空间中定义的f的归纳式学习算法，解决了以上两个问题。

由于$\frac{1}{2}{\sum }_{i,j=1}^{l+u}{w}_{ij}{\left(f\left({\mathbf{x}}_i\right)-f\left({\mathbf{x}}_j\right)\right)}^2={\mathbf{f}}^{\top }L\mathbf{f}$只能控制$l+u$的训练样本的f值，为了防止f在训练集以外的样本上变化不平滑（泛化能力较弱），有必要包括第二个正则项，合并后得到的流形正则项为：

$\Omega (f)={\lambda }_1\Vert f{\Vert }^2+{\lambda }_2{\mathbf{f}}^{\top }L\mathbf{f}$

其中，${\lambda }_1,{\lambda }_2\ge 0$控制两个项的相对强度。

为了拒绝一些给定的标签，我们使用损失函数$c(x,y,f(x))=(y_i-f(x_i){)}^2$，得到完整的流形正则化目标函数为：

${\min }_{f:\mathcal{X}\mapsto \mathbb{R}}{\sum }_{i=1}^l{\left(y_i-f\left({\mathbf{x}}_i\right)\right)}^2+{\lambda }_1\Vert f{\Vert }^2+{\lambda }_2{\mathbf{f}}^{\top }L\mathbf{f}.$

除了非归一化的拉普拉斯矩阵$L$外，还经常使用归一化的拉普拉斯矩阵$\mathcal{L}$.

$\mathcal{L}=D^{-1/2}L{D}^{-1/2}=I-D^{-1/2}W{D}^{-1/2}$

此时对应了一个稍微不同的正则项：

${\mathbf{f}}^{\top }\mathcal{L}\mathbf{f}=\frac{1}{2}{\sum }_{i,j=1}^{l+u}{w}_{ij}{\left(\frac{f\left({\mathbf{x}}_i\right)}{\sqrt{D_{ii}}}-\frac{f\left({\mathbf{x}}_j\right)}{\sqrt{D_{jj}}}\right)}^2$

3.2.5 基于图的半监督学习假设

图的标签式平滑的，标签在图上的变化非常缓慢，即两个样本在图上有强边相连，则它们的标签有很大概率相同。

特征向量$\phi$、特征值$\lambda$ ：$A\varphi =\lambda \varphi$（$\lambda$是$\phi$对应的特征值）此时，$c\varphi$也是一个特征向量。

我们关注单位特征向量$||\varphi ||=1$，对于非标准化的拉普拉斯矩阵$L$：

• $L$有$l+u$个特征值（可重复），和对应的特征向量 { ( λ i , ϕ i ) } i = 1 l + u \left\{\left(\lambda_{i}, \phi_{i}\right)\right\}_{i=1}^{l+u} {(λi​,ϕi​)}i=1l+u​，这些对叫做图谱。除此之外，特征向量都是正交的${\varphi }_i^{\top }{\varphi }_j=0$，$i\ne j$

• 拉普拉斯矩阵可以分解为外积的加权和：

  $L={\sum }_{i=1}^{l+u}{\lambda }_i{\varphi }_i{\varphi }_i^{\top }$

• 特征值都是非负实数，可以排序为：

  $0={\lambda }_1\le {\lambda }_2\le \dots \le {\lambda }_{l+u}$

• 图有k个连通分量 当且仅当${\lambda }_1=...={\lambda }_k=0$对应的特征向量在单个连通分量上是常数或为0.

由于特征向量都是正交的，并且具有单位长度，因此它们在${\mathbb{R}}^{l+u}$中形成了一个基，意味着图上任何f都能被分解为：

$\mathbf{f}={\sum }_{i=1}^{l+u}{a}_i{\varphi }_i$

4 实验分析

4.1 GMM生成模型

4.2 LP标签传播