机器学习第十章---降维与度量学习

1、k近邻学习

k近邻学习是一种常用的监督学习方法，其工作机制非常简单：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个“邻居”的信息来进行预测。通常，在分类任务中可使用“投票法”，即选择这K个样本中出现最多的类别标记为预测结果；还可基于距离远近进行加权平均或加权投票，距离越近的样本权重越大。
与前面介绍的学习方法相比，k近邻学习有一个明显的不同之处：它没有显示的训练过程，它是“懒惰学习”的著名代表，此类学习技术在训练阶段仅仅是把样本保存起来，训练时间开销为零，待收到测试样本后再进行处理；相应的，哪些在训练阶段就对样本进行学习处理的方法，称为“急切学习”。显然，k是一个重要参数，当k取值不同时，分类结果会有显著不同，另一方面，若采用不同的距离计算方式，则找出的“近邻”可能有显著差别，从而也会导致分类结果有显著不同。假设距离计算是“恰当”的，即能够恰当地找出k个近邻。

给定测试样本x，若其最近邻样本为z，则最近邻分类器出错地概率就是x与z类别标记不同的概率，即$$P(err)=1-\sum _{c\in y}P(c|x)P(c|z)$$
假设样本独立同分布，且对任意x与任意小正数$\delta$,在x附近$\delta$距离范围内总能找到一个训练样本；换言之，对任意测试样本，总能在任意近地范围找到训练样本z，令$c^{\ast }=argma{x}_{c\in y}P(c|x)$表示最优分类器的结果，有$$\begin{gathered} P(err)=1-\sum _{c\in y}P(c|x)P(c|z)\simeq 1-\sum _{c\in y}{P}^2(c|x) \\ \le 1-P^2(c^{\ast }|x)=(1+p(c^{\ast }|x))(1-p(c^{\ast }|x))\le 2\ast (1-p(c^{\ast }|x)) \end{gathered}$$最近邻分类器比贝叶斯最优分类器要简单的多，但它的错误率不超过贝叶斯分类器的两倍。

2、低维嵌入

上一节的讨论是在任意测试样本 $x$ 附近任意小的 $\delta$ 距离范围内总能找到一个训练样本的情况下进行的，然而，这个假设在现实任务中通常很难满足，此外，许多学习方法都涉及距离计算，而高维空间会给距离计算带来很大麻烦。事实上，在高维情形下出现的数据样本稀疏、距离计算困难等问题，是所有机器学习方法共同面临的严重障碍，被称为维数灾难。缓解维数灾难的一个重要途径是降维，亦称"维数约简"，即通过某种数学变换将原始高维属性空间转变为一个低维"子空间"，在这个子空间中样本密度大幅提高，距离计算也变得更加容易。

若要求原始空间样本之间的距离在低维空间得以保持，如上图，即得到多维缩放(MDS)这样一种经典的降维方法。下面来简单介绍一下:
假定m个样本在原始空间的距离矩阵为$D\in R^{m\ast m}$,其第i行j列的元素$dis{t}_{ij}$为样本$x_i$到$x_j$的距离。我们的目标是获得样本在$d^{{}^{\prime }}$维空间中的表示$Z\in R^{d^{{}^{\prime }}\ast m},d^{{}^{\prime }}\le d$,且任意两个样本在$d^{{}^{\prime }}$维空间中的欧式距离等于原始空间中的距离，即$||z_i-z_j||=dis{t}_{ij}$。令$B=Z^{T}Z\in R^{m\ast m}$,其中B为降维后样本的内积矩阵，$b_{ij}=z_i^T{z}_j$,有$$dis{t}_{ij}^2=||z_i|{|}^2+||z_j|{|}^2-2z_i{z}_j=b_{ii}+b_{jj}-2b_{ij}$$为方便讨论，令降维后的样本被中心化，即${\sum }_{i=1}^m{z}_i=0$,显然，矩阵的行与列之和均为零，即${\sum }_{i=1}^m{b}_{ij}={\sum }_{j=1}^m{b}_{ij}=0$易知$$\sum _{i=1}^{m}dis{t}_{ij}^2=tr(B)+m{b}_{jj}$$$$\sum _{j=1}^{m}dis{t}_{ij}^2=tr(B)+m{b}_{ii}$$$$\sum _{i=1}^m\sum _{j=1}^{m}dis{t}_{ij}^2=2mtr(B)$$其中$tr(.)$表示矩阵的迹，$tr(B)={\sum }_{i=1}^m||z_i|{|}^2$.令$$\begin{gathered} dis{t}_{i.}^2=\frac{1}{m}\sum _{j=1}^{m}dis{t}_{ij}^2, \\ dis{t}_{.j}^2=\frac{1}{m}\sum _{i=1}^{m}dis{t}_{ij}^2 \\ dis{t}_{..}^2=\frac{1}{m^2}\sum _{i=1}^m\sum _{j=1}^{m}dis{t}_{ij}^2 \end{gathered}$$
由此即可求出内积矩阵B了。对矩阵B做特征分解，$B=V\Lambda V^T$,其中$\Lambda$为特征值构成的对角矩阵，$V$为特征向量矩阵。假设有$d^{\ast }$个非零特征值，令对角矩阵${\Lambda }_{\ast }=diag({\lambda }_1,{\lambda }_2,\dots \dots ,{\lambda }_{d^{\ast }})$,令$V_{\ast }$表示相应的特征向量矩阵，则Z可表达为$$Z={\Lambda }_{\ast }^{\frac{1}{2}}{V}_{\ast }^T$$
在现实应用中，为了有效降维，往往不需要降维后的距离与原始空间中的距离尽可能相近，而不必严格相等。此时，选择$d^{{}^{\prime }}\ll d$个特征值构成的对角矩阵$\hat{\Lambda }=diag({\lambda }_1,{\lambda }_2,\dots \dots ,{\lambda }_{d^{{}^{\prime }}})$令$\hat{V}$表示相应的特征向量矩阵，则Z可表达为$$Z={\hat{\Lambda }}_{\ast }^{\frac{1}{2}}{\hat{V}}^T$$
MDS算法的具体流程如下：

一般来说，为了获得低维子空间，最简单的是对原始高维空间进行线性变换。给定d维空间中的样本$X=(x_1,x_2,\dots \dots ,x_m)\in R^{d\ast m}$变换后得到$d^{{}^{\prime }}$维空间中的样本$$Z=W^{T}X$$其中$W\in R^{d\ast d^{{}^{\prime }}}$是变换矩阵，变换矩阵W可视为是$d^{{}^{\prime }}$个d维基向量，$z_i=W^T{x}_i$是原属性向量$x_i$在新坐标系{$w_1,w_2,\dots \dots ,w_{d^{{}^{\prime }}}$}中的坐标向量。若$w_i$与$w_j$正交，则新坐标系是一个正交坐标系，此时$W$为正交变换。显然，新空间中的属性是原空间中属性的线性组合。
基于线性变换来进行降维的方法称为线性降维方法，它们都符合$Z=W^{T}X$的基本形式，不同之处是对低维子空间的性质有不同的要求，$W$所加的约束不同。对降维效果的评估，通常是比较降维前后学习器的性能，若性能有所提高则认为降维起到了作用。

3、主成分分析

主成分分析是最常用的一种降维方法，在介绍PCA之前，我们先思考这样一个问题，对于正交属性空间中的样本点，如何用一个超平面对所有样本进行恰当的表达？
可以知道，若存在这样的超平面，那么它大概具有以下性质：

1. 最近重构性：样本点到这个超平面的距离都足够近
2. 最大可分性：样本点在这个超平面上的投影都尽可能分开

先来看最近重构性，假定数据样本进行了中心化，即${\sum }_i{x}_i=0$;假设投影变换后的新坐标为{$w_1,w_2,\dots \dots ,w_d$},其中$w_i$是标准正交基向量，||$w_i|{|}_2=1,w_i^T{w}_j=0(i\ne j)。$若将维度降低到 $d^{{}^{\prime }}<d$,则样本点$x_1$在低维坐标系的投影为$z_i=(z_{i1},z_{i2},\dots \dots ,z_{i{d}^{{}^{\prime }}})$其中$z_{ij}=w_j^T{x}_i$是$x_i$在低维坐标系下第j维的坐标。若基于$z_i$来重构$x_i$，则会得到${\hat{x}}_i={\sum }_{j=1}^{d^{{}^{\prime }}}{z}_{ij}{w}_j$。 那么原样本点 $x_i$ 与基于投影重构的样本点 ${\hat{x}}_i$ 之间的距离为$$\sum _{i=1}^m||\sum _{j=1}^{d^{{}^{\prime }}}{z}_{ij}{w}_j-x_i|{|}_2^2=\sum _{i=1}^m{z}_i^T{z}_i-2\sum _{i=1}^m{z}_i^T{W}^T{x}_i+const\propto -tr(W^T(\sum _{i=1}^m{x}_i{x}_i^T)W)$$根据最近重构性，要将上式最小化，因为$w_j$是标准正交基，${\sum }_i{x}_i{x}_i^T$是协方差矩阵，所以我们的目标是在$W^{T}W=I$的条件下求解：$$\underset{W}{\min }-tr(W^{T}X{X}^{T}W)$$
从最大可分性出发，因为样本点$x_i$在新空间中超平面上的投影是$W^T{x}_i$，想要将样本的投影点尽可能分开，则应该使投影后样本点的方差尽可能大。投影后样本点的方差是${\sum }_i{W}^T{x}_i{x}_i^{T}W$,于是优化目标是在$W^{T}W=I$的条件下：$$\underset{W}{\max }tr(W^{T}X{X}^{T}W)$$
显然，两个目标是等价的，使用拉格朗日乘子法求解,令$L(W)=W^{T}X{X}^{T}W-\lambda W^{T}W$求偏导为零可得$$X{X}^{T}W=\lambda W$$于是，只要对$X{X}^T$进行特征值分解，将求得的特征值排序，前$d^{{}^{\prime }}$个特征值对应的特征向量构成的矩阵即为我们要求的投影矩阵。具体流程如下：

降维后低维空间的维数$d^{{}^{\prime }}$通常是用户事先选择的，或通过在$d^{{}^{\prime }}$值不同的低维空间中对k近邻分类器进行交叉验证来选取较好的$d^{{}^{\prime }}$值。虽然低维空间与原始空间相比舍去了一些信息，但往往这部分信息是必须舍弃的，一方面舍弃这些信息后能使得样本的采样密度增大，另一方面，当数据受到噪声影响时，最小的特征值所对应的特征向量往往与噪声有关，舍弃可以起到去噪效果。

4、核化线性降维

线性降维方法是假设从高维空间到低维空间的函数映射是线性的，然而，在不少现实任务中，可能需要非线性映射才能找到恰当的低维嵌入。如下图：

样本从二维空间中的矩形区域采样后以S形曲面嵌入到三维空间，若直接使用线性降维方法对三维空间观察到的样本点进行降维，则会丢失原本的低维结构。因此，我们就要用到非线性降维，非线性降维的一种常用方法，是基于核技巧对线性降维方法进行"核化"。下面我们以核主成分分析来进行演示：
假定我们将在高维特征空间中把数据投影到由$W$确定的超平面上，即$PCA$欲求解$\left({\sum }_{i=1}^m{z}_i{z}_i^T\right)W=\lambda W$,其中$z_i$是样本点$x_i$在高维特征空间的像。假设$z_i$是样本点$x_i$通过映射$\varphi$产生，即$z=\varphi (x_i)$。我们的变换变为$$(\sum _{i=1}^m\varphi (x_i)\varphi (x_i{)}^T)W=\lambda W$$
即$\Phi (x)\Phi (x{)}^{T}W=\lambda W$，同时可以解出$$W=\frac{1}{\lambda }(\sum _{i=1}^m\varphi (x_i)\varphi (x_i{)}^T)W=\sum _{i=1}^m\varphi (x_i)\frac{\varphi (x_i{)}^{T}W}{\lambda }$$令${\alpha }_i=\frac{1}{\lambda }\varphi (x_i{)}^{T}W$，则$W={\sum }_{i=1}^m\varphi (x_i{)}^T{\alpha }_i=\Phi (x)\alpha$。于是我们可以得出$$\begin{gathered} \Phi (x)\Phi (x{)}^T\Phi (x)\alpha =\lambda \Phi (x)\alpha \\ \Phi (x{)}^T\Phi (x)\Phi (x{)}^T\Phi (x)\alpha =\lambda \Phi (x{)}^T\Phi (x)\alpha \end{gathered}$$因为一般情形下,我们不清楚$\varphi$的具体形式，于是引入核函数$$k(x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$$代入化简可得$$K\alpha =\lambda \alpha$$
其中K是k对应的核矩阵，$K_{ij}=k(x_i,x_j)，\alpha =({\alpha }_1,{\alpha }_2,\dots \dots {\alpha }_m)$。那么K最大的$d^{{}^{\prime }}$个特征值所对应的特征向量即为我们要求的变换矩阵。

5、流行学习

流行学习是一类借鉴了拓扑流行概念的降维方法，流形学习是一大类基于流形的框架。数学意义上的流形比较抽象，不过我们可以认为LLE中的流形是一个不闭合的曲面。这个流形曲面有数据分布比较均匀，且比较稠密的特征，有点像流水的味道。基于流行的降维算法就是将流形从高维到低维的降维过程，在降维的过程中我们希望流形在高维的一些特征可以得到保留。一个形象的流形降维过程如下图。我们有一块卷起来的布，我们希望将其展开到一个二维平面，我们希望展开后的布能够在局部保持布结构的特征，其实也就是将其展开的过程，就像两个人将其拉开一样。

5.1 等度量映射

等度量映射的基本出发点，是认为低维流形嵌入到高维空间中之后，直接在高维空间中计算直线距离具有误导性。如下图，可以看出从一点到另一点一定要经过一段曲线，我们将其称为测地线距离，测地线距离是指两点之间的本真距离。显然，直接计算直线距离是不恰当的。

那么怎么计算测地线距离呢？我们可以对每个点基于欧式距离找出近邻点，然后就能建立一个近邻连接图，图中近邻点之间存在连接，而非近邻点之间不存在连接，于是，计算两点之间测地线距离的问题，就转变为计算近邻连接图上两点之间的最短路径问题。

在近邻连接图上求最短路径，可采用著名的Dijkstra算法或Floyd算法，在得到任意两点的距离之后，就可通过MDS方法来获得样本点在低维空间中的坐标。Isomap算法的具体流程如下：

要注意的是，Isomap仅是得到了训练样本在低维空间的坐标，对于新样本，如何将其映射到低维空间呢？一般是将训练样本的高维空间坐标作为输入、低维空间坐标作为输出，训练一个回归学习器来对新样本的低维空间坐标进行预测。
近邻图的构建通常由两种方法，一种是指定近邻点个数，符合条件的k个点为近邻点，如欧氏距离最近的k个点为近邻点；另一种是指定距离阈值$ϵ$,距离小于$ϵ$的点被认为是近邻点。两种方式都有一定的不足，若近邻范围指定的较大，则距离很远的点可能被误认为是近邻点，近邻范围指定的小，则图中有些区域可能与其他区域不存在连接，都会给后续的计算造成干扰。

5.2 局部线性嵌入

与Isomap试图保持近邻样本之间的距离不同，局部线性嵌入(LLE)试图保持邻域内样本间的线性关系，假定样本点$x_i$的能够通过它的邻域样本$x_j,x_k,x_l$的坐标通过线性组合而重构出来，即$$x_i=w_{ij}{x}_j+w_{ik}{x}_k+w_{il}{x}_l$$局部线性嵌入希望这种关系在低维空间得以保持。LLE先为每个样本$x_i$找到其近邻下标集合$Q_i$，然后我们就需要找到样本点$x_i$和这些近邻之间的线性关系，设置损失函数损失函数$$J(w)=\sum _{i=1}^m||x_i-\sum _{j\in Q(i)}{w}_{ij}{x}_j|{|}_2^2$$一般我们也会对权重系数$w_{ij}$做归一化的限制，即权重系数需要满足$$\sum _{j\in Q(i)}{w}_{ij}=1$$对于不在样本xi邻域内的样本$x_j$，我们令对应的$w_{ij}=0$。很明显，我们的任务就是找出能使$J(w)$最小的权重系数$w_{ij}$$$\begin{gathered} J(w)=\sum _{i=1}^m||x_i-\sum _{j\in Q(i)}{w}_{ij}{x}_j|{|}_2^2 \\ =\sum _{i=1}^m||\sum _{j\in Q(i)}{w}_{ij}{x}_i-\sum _{j\in Q(i)}{w}_{ij}{x}_j|{|}_2^2 \\ =\sum _{i=1}^m||\sum _{j\in Q(i)}{w}_{ij}(x_i-x_j)|{|}_2^2 \\ =\sum _{i=1}^m{W}_i^T(x_i-x_j)(x_i-x_j{)}^T{W}_i \end{gathered}$$其中$W_i=(w_{i1},w_{i2},\dots \dots ,w_{ik}{)}^T$,那么，用$1_k$表示k维全一向量，则$\sum _{j\in Q(i)}{W}_{ij}=W_i^T{1}_k$,。用拉格朗日法求解$w_{ij}$，令$$L(W)=\sum _{i=1}^k{W}_i^T(x_i-x_j)(x_i-x_j{)}^T{W}_i+\lambda (W_i^T{1}_k-1)$$令其对$W$求偏导为零得$$2(x_i-x_j)(x_i-x_j{)}^T{W}_i+\lambda 1_k=0$$因此，$$W_i=-\frac{1}{2}\lambda ((x_i-x_j{)}^T{)}^{-1}((x_i-x_j{)}^{-1}{1}_k$$现在我们得到了高维的权重系数，那么我们希望这些权重系数对应的线性关系在降维后的低维空间得到保持。假设我们的n维样本集{$x_1,x_2,...,x_m$}在低维的d维度对应投影为{$y_1,y_2,...,y_m$},其均方差损失函数为： $$J(y)=\sum _{i=1}^m||y_i-\sum _{j=1}^m{w}_{ij}{y}_j|{|}_2^2=\sum _{j=1}^m||Y{I}_i-Y{W}_i|{|}_2^2=tr(Y(I-W)(I-W{)}^T{Y}^T)$$
同样地，添加约束条件$$\sum _{i=1}^m{y}_i=0;\frac{1}{m}\sum _{i=1}^m{y}_i{y}_i^T=I$$令$M=(I-W)(I-W{)}^T$，用拉个朗日法求解，令$$L(Y)=tr(YM{Y}^T+\lambda (Y{Y}^T-mI))$$将上式对$Y$求偏导为零得$$2M{Y}^T+2\lambda Y^T=0$$即$M{Y}^T=-\lambda Y^T,$那么，求出矩阵M最小的d个特征值所对应的d个特征向量，我们就可得到最终的$Y=(y_1,y_2,...y_d{)}^T$。一般的，由于M的最小特征值为0不能反应数据特征，此时对应的特征向量为全1。我们通常选择M的第2个到第d+1个最小的特征值对应的特征向量$M=(y_2,y_3,...y_{d+1})$来得到最终的Y。

总的来说，LLE算法的具体步骤如下：

1. 寻找每个样本点的k个近邻点；
2. 由每个样本点的近邻点计算出该样本点的局部重建权值矩阵；
3. 由该样本点的局部重建权值矩阵和其近邻点计算出该样本点的输出值

6、度量学习

在机器学习中，对高维数据进行降维的主要目的是希望找到一个合适的低维空间，在此空间中进行学习能比原始空间性能更好。事实上，每个空间对应了在样本属性上定义的一个距离度量，而寻找合适的空间，实质上就是在寻找一个合适的距离度量。那么，为什么不直接尝试"学习"出一个合适的距离度量呢？这就是度量学习的基本动机。
欲对度量学习进行学习，必须有一个便于学习的距离度量表达形式。之前提到的距离度量表达式都是固定的，不能调节的，因此我们先来做一个推广：对两个d维样本$x_i$和$x_j$，它们之间的平方欧氏距离可写为$$dis{t}_{ed}^2(x_i,x_j)=||x_i-x_j|{|}_2^2=dis{t}_{ij,1}^2+dis{t}_{ij,2}^2+\dots \dots +dis{t}_{ij,d}^2$$其中$dis{t}_{ij,k}^2$表示$x_i$与$x_j$在第k维上的距离，若假定不同属性的重要性不同，则可引入属性权重$w$，令$W=diag(w),(W{)}_{ii}=w_i$,则
$$dis{t}_{ed}^2(x_i,x_j)=||x_i-x_j|{|}_2^2=w_{1}dis{t}_{ij,1}^2+w_{2}dis{t}_{ij,2}^2+\dots \dots +w_{d}dis{t}_{ij,d}^2=(x_i-x_j{)}^{T}W(x_i-x_j)$$在此，我们假设$W$中非对角线均为零，即属性之间无关，单大多数情况下，属性之间存在一定的关系，为此，将$W$替换为半正定对称矩阵$M$,得到马氏距离$$dis{t}_{mah}^2(x_i,x_j)=(x_i-x_j{)}^{T}M(x_i-x_j)=||x_i-x_j|{|}_M^2$$要注意，$M$必须是半正定对称矩阵，即必有正交基$P$使得$M$能写为$M=P{P}^T$。度量学习就是对$M$进行学习，对$M$进行学习要设置一个目标，假设我们希望提高近邻分类器的性能，则可将$M$嵌入到近邻分类器的评价指标中去，通过优化该性能指标相应地求出$M$。下面以近邻成分分析为例进行讨论。
近邻分类器在进行判别时常使用多数投票法，假设采用概率投票法，任意样本$x_j$对样本$x_i$产生影响的概率为$$P_{ij}=\frac{e^{-||x_i-x_j|{|}_M^2}}{{\sum }_l{e}^{-||x_i-x_l|{|}_M^2}}$$显然，随着$x_i$与$x_j$之间距离的增大，$p_{ij}$会逐渐减小。若以留一法正确率的最大化为目标，则可计算$x_i$的留一法正确率，即它被自身之外的所有样本正确分类的概率为$$p_i=\sum _{j\in {\Omega }_i}{p}_{ij}$$其中${\Omega }_i$表示与$x_i$属于相同类别的样本的下标集合，于是，整个样本集上的留一法正确率为$$\sum _{i=1}^m{p}_i=\sum _{i=1}^m\sum _{j\in {\Omega }_i}{p}_{ij}=\sum _{i=1}^m\sum _{j\in {\Omega }_i}\frac{e^{-||x_i-x_j|{|}_M^2}}{{\sum }_l{e}^{-||x_i-x_l|{|}_M^2}}$$很明显，我们要让他尽可能地大，即找到距离度量矩阵$M$使得上式最大，因为$M=P{P}^T$,因此我们的优化目标为$$\underset{P}{\min }1-\sum _{i=1}^m\sum _{j\in {\Omega }_i}\frac{e^{-||P^T{x}_i-P^T{x}_j|{|}_2^2}}{{\sum }_l{e}^{-||P^T{x}_i-P^T{x}_l|{|}_2^2}}$$除了将错误率这样的监督学习目标作为度量学习的优化目标，还可在度量学习中引入领域知识。设定集合$A,B$，将相似的样本放在集合$A$中，不相似的样本放在$B$中，我们希望相似样本之间的距离尽可能小，不相似样本之间的距离尽可能大。那么，我们的目标可写为：$$\begin{gathered} \underset{M}{\min }\sum _{(x_i,x_j)\in A}||x_i-x_j|{|}_M^2 \\ s.t.\sum _{(x_i,x_k)\in C}||x_i-x_k|{|}_M\ge 1 \end{gathered}$$即在不相似样本的距离不小于1的前提下寻找使相似样本间的距离最小的半正定矩阵$M$。