第10章 降维与度量学习

第10章 降维与度量学习

10.1 k近邻学习

k-近邻(k-Nearest Neighbor,KNN)学习是一种常用的监督学习方法，其工作机制：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这个k个“邻居”的信息来进行预测

在分类任务中可使用投票法，即选择这k个样本中出现最多的类别标记作为预测结果

在回归任务中可使用平均法，即将这k个样本的实值输出标记的平均值作为预测结果

懒惰学习(lazy learning)：此类学习技术在训练阶段仅仅把样本保存起来，训练时间开销为零，待收到测试样本后再进行处理。

急切学习(eager learning)：在训练阶段对样本进行学习处理的方法

给定测试样本x，若其最近邻样本为z，则最近邻分类器出错的概率就是x与z类别标记不同的概率

$$P\left(\text{err}\right)=1-\sum _{c\in y}P\left(c|x\right)P\left(c|z\right)$$

假设样本独立同分布，且对任意x和任意小正数$\delta$，在x附近$\delta$距离范围内总能找到一个训练样本。

$$P\left(\text{err}\right)=1-\sum _{c\in y}P\left(c|x\right)P\left(c|z\right)$$

$$\simeq 1-\sum _{c\in y}{P}^2\left(c|x\right)$$

$$\le 1-P^2\left(c^{\ast }|x\right)$$

$$=\left(1+P\left(c^{\ast }|x\right)\right)\left(1-P\left(c^{\ast }|x\right)\right)$$

$$\le 2\times \left(1-P\left(c^{\ast }|x\right)\right)$$

10.2 低维嵌入

训练样本的采样密度足够大或称为密采样(dense sample)

维度灾难(curse of dimensionality)：在高维情形下出现的数据样本稀疏、距离计算困难等问题

维数约简：缓解维数灾难的一个重要途径是降维(dimension reduction)，即通过某种数学变换将原始高维属性空间转变为一个低维子空间

若要求原始空间中的样本之间的距离在低维空间得以保持，即得到多维缩放(Multiple
Dimensional Scaling, MDS)

假定m个样本在原始空间的距离矩阵为$D\in {\mathbb{R}}^{m\times m}$，其第i行j列的元素${\text{dist}}_{\text{ij}}$为样本$x_i$到$x_j$的距离。

目标：获得样本在$d^{{}^{\prime }}$维空间表示$Z\in {\mathbb{R}}^{d^{{}^{\prime }}\times m},d^{{}^{\prime }}\le d$，且任意两个样本在$d^{{}^{\prime }}$维空间中的欧式距离等于原始空间中的距离，即$\Vert z_i-z_j\Vert ={\text{dist}}_{\text{ij}}$

令$B=Z^{T}Z\in {\mathbb{R}}^{m\times m}$，其中B为降维后样本的内积矩阵，$b_{\text{ij}}=z_i^T{z}_j$，有

$${\text{dist}}_{\text{ij}}^2={\Vert z_i\Vert }^2+{\Vert z_j\Vert }^2-2z_i^T{z}_j=b_{\text{ii}}+b_{\text{jj}}-2b_{\text{ij}}$$

令降维后的样本Z被中心化，即${\sum }_{i=1}^m{z}_i=0$，则矩阵B的行和列之和均为零，即${\sum }_{i=1}^m{b}_{\text{ij}}={\sum }_{j=1}^m{b}_{\text{ij}}=0$，则

$$\sum _{i=1}^m{\text{dist}}_{\text{ij}}^2=\text{tr}\left(B\right)+m{b}_{\text{jj}}$$

$$\sum _{j=1}^m{\text{dist}}_{\text{ij}}^2=\text{tr}\left(B\right)+m{b}_{\text{ii}}$$

$$\sum _{i=1}^m\sum _{j=1}^m{\text{dist}}_{\text{ij}}^2=2m\text{tr}\left(B\right)$$

其中$\text{tr}\left(.\right)$表示矩阵的迹(trace)，$\text{tr}\left(B\right)={\sum }_{i=1}^m{\Vert z_i\Vert }^2$。令

$${\text{dist}}_i^2=\frac{1}{m}\sum _{j=1}^m{\text{dist}}_{\text{ij}}^2$$

$${\text{dist}}_j^2=\frac{1}{m}\sum _{i=1}^m{\text{dist}}_{\text{ij}}^2$$

$${\text{dist}}_{\text{..}}^2=\frac{1}{m^2}\sum _{i=1}^m\sum _{j=1}^m{\text{dist}}_{\text{ij}}^2$$

则

$$b_{\text{ij}}=-\frac{1}{2}\left({\text{dist}}_{\text{ij}}^2-{\text{dist}}_{\text{i.}}^2-{\text{dist}}_{\text{.j}}^2+{\text{dist}}_{\text{..}}^2\right)$$

由此即可通过降维前后保持不变的距离矩阵D求取内积矩阵B

对矩阵B做特征值分解(eigenvalue decomposition)，$B=V\Lambda V^T$，其中$\Lambda =diag\left({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_d\right)$为特征构成的对角矩阵，${\lambda }_1\ge {\lambda }_2\ge \dots {\ge \lambda }_d$，V为特征向量矩阵。假定其中有$d^{\ast }$个非零特征值，它们构成对角矩阵${\Lambda }_{\ast }=diag\left({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_{d^{\ast }}\right)$，令${\Lambda }_{\ast }$表示相应的特征向量矩阵，则Z可表达为

$$Z={\Lambda }_{\ast }^{\frac{1}{2}}{V}_{\ast }^T\in {\mathbb{R}}^{d^{\ast }\times m}$$

此时可取$d^{{}^{\prime }}\ll d$个最大特征值构成对角矩阵$\tilde{\Lambda }=\text{dia}g\left({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_{d^{{}^{\prime }}}\right)$，令$\tilde{V}$表示相应的特征向量矩阵，则

$$Z={\tilde{\Lambda }}^{\frac{1}{2}}{\tilde{V}}^T\in {\mathbb{R}}^{d^{{}^{\prime }}\times m}$$

10.3 主成分分析

主成分分析(Principal Component Analysis, PCA)是最常用的一种降维方法。

最大重构性：样本点到这个超平面的距离都足够近

最大可分性：样本点在这个超平面上的投影能尽可能分开

假定数据样本进行中性化，即${\sum }_i^{}{x}_i=0$；再假定投影变换后得到的新坐标系为 { ω 1 , ω 2 , … , ω d } \left\{ \omega_{1},\omega_{2},\ldots,\omega_{d} \right\} {ω1​,ω2​,…,ωd​}，其中${\omega }_i$是标准正交基向量，${\Vert {\omega }_i\Vert }_2=1,{\omega }_i^T{\omega }_j=0\left(i̸=j\right)$，将维度降低到$d^{{}^{\prime }}<d$，则样本点$x_i$在低维坐标系中的投影为$z_i=\left(z_{i1};z_{i2};\dots ;z_{{\text{id}}^{{}^{\prime }}}\right)$，其中$z_{ij}={\omega }_j^T{x}_i$是$x_i$在低维坐标系下第j维的坐标。若基于$z_i$来重构$x_i$，则会得到${\hat{x}}_i={\sum }_{j=1}^{d^{{}^{\prime }}}{z}_{\text{ij}}{\omega }_j$。

考虑整个训练集，原样本点$x_i$与基于投影重构的样本点${\hat{x}}_i$之间的距离为

$$\sum _{i=1}^m{\Vert \sum _{j=1}^{d^{{}^{\prime }}}{z}_{\text{ij}}{\omega }_j-x_i\Vert }_2^2=\sum _{i=1}^m{z}_i^T{z}_i-2\sum _{i=1}^m{z}_i^T{W}^T{x}_i$$

$$+const\propto -\text{tr}\left(W^T\left(\sum _{i=1}^m{x}_i{x}_i^T\right)W\right)$$

其中$W=\left({\omega }_1,{\omega }_2,\dots ,{\omega }_d\right)$。根据最近重构性，上式应被最小化，考虑到${\omega }_j$是标准正交基，${\sum }_{i=1}^m{x}_i^T{x}_i$是协方差矩阵，优化目标有

投影后样本点的方差是${\sum }_{i=1}^m{W^{T}x}_i{x}_i^{T}W$，则

使用拉格朗日乘子法有

$$X{X}^T{\omega }_i={\lambda }_i{\omega }_i$$

只需要对协方差矩阵$X{X}^T$进行特征值分解。将求得的特征值排序${\lambda }_1\ge {\lambda }_2\ge ,\dots ,\ge {\lambda }_d$，再取前$d^{\prime }$个特征值对应的特征向量构成$W^{\ast }=\left({\omega }_1,{\omega }_2,\dots ,{\omega }_{d^{{}^{\prime }}}\right)$

10.4 核化线性降维

核主成分分析(Kernelized PCA,KPCA)是一种基于核技巧对线性降维方法进行核化，是非线性降维的一种常用方法。

假定将在高维特征空间中把数据投影到由$W=\left({\omega }_1,{\omega }_2,\dots ,{\omega }_d\right)$确定的超平面上，则对于${\omega }_j$有

$$\left(\sum _{i=1}^m{z}_i{z}_i^T\right){\omega }_j={\lambda }_j{\omega }_j$$

其中$z_i$是样本点$x_i$在高维特征空间中的像，则

$${\omega }_j=\frac{1}{{\lambda }_j}\left(\sum _{i=1}^m{z}_i{z}_i^T\right){\omega }_j=\sum _{i=1}^m{z}_i\frac{z_i^T{\omega }_j}{{\lambda }_j}=\sum _{i=1}^m{z}_i{\alpha }_i^j$$

其中${\alpha }_i^j=\frac{1}{{\lambda }_j}{z}_i^T{\omega }_j$是${\alpha }_i$的第j个分量。

假定$z_i$是由原始属性空间中的样本点$x_i$通过映射$\varphi$产生，即$z_i=\varphi \left(x_i\right),i=1,2,\dots ,m$，若$\varphi$能被显式表达出来，则

$$\left(\sum _{i=1}^m\varphi \left(x_i\right){\varphi \left(x_i\right)}^T\right){\omega }_j={\lambda }_j{\omega }_j$$

$${\omega }_j=\sum _{i=1}^m{\varphi \left(x_i\right)\alpha }_i^j$$

引入核函数：

$$\mathcal{K}\left(x_i{x}_j\right)={\varphi \left(x_i\right)}^T\varphi \left(x_i\right)$$

则化简为

$$K{\alpha }^j={\lambda }_j{\alpha }^j$$

其中K为$\mathcal{K}$对应的核矩阵，${\left(K\right)}_{\text{ij}}=\mathcal{K}\left(x_i{x}_j\right),{\alpha }^j=\left({\alpha }_1^j;{\alpha }_2^j;\dots ;{\alpha }_m^j\right)$

对新样本x，其投影后的第$j(j=1,2,\dots ,d^{\prime })$维坐标为

$$z_i={\omega }_j^T\varphi \left(x\right)=\sum _{i=1}^m{\alpha }_i^j{\varphi \left(x\right)}^T\varphi \left(x\right)=\sum _{i=1}^m{\alpha }_i^j\mathcal{K}\left(x_{i,}{x}_j\right)$$

10.5 流形学习

流形学习(manifold learning)是一类借鉴了拓扑流形概念的降维方法。在局部具有欧式空间的性质，能用欧式距离历来进行距离计算。

10.5.1 等度量映射

等度量映射(Isometric Mapping,Isomap)基本出发点是低维流形嵌入到高维空间之后，直接在高维空间中计算直线距离具有误导性。

每个点基于欧式距离找出其近邻点，然后就能建立一个近邻连接图，图中近邻点之间存在连接，而非近邻点之间不存在连接。计算两点之间测地线距离的问题，就转变为计算近邻连接图上两点之间的最短路径问题。

对近邻图的构建通常的方法：指定近邻点个数或指定距离阈值$ϵ$

15.5.2 局部线性嵌入

局部线性嵌入(Locally Linear Embedding, LLE)试图保持领域内样本之间的线性关系。

假定样本点$x_i$的坐标能通过它的领域样本$x_j,x_k,x_l$的坐标通过线性组合而重构，即

$$x_i={\omega }_{\text{ij}}{x}_j+{\omega }_{ik}{x}_k+{\omega }_{il}{x}_l$$

LLE先为每个样本$x_i$找到其近邻下标集合$Q_i$，然后计算出基于$Q_i$中的样本点$x_i$进行线性重构的系数${\omega }_i$：

其中$x_i$和$x_j$均为已知，令$C_{\text{jk}}={\left(x_i-x_j\right)}^T\left(x_i-x_k\right)$有闭解

$${\omega }_{\text{ij}}=\frac{{\sum }_{k\in Q_i}^{}{C}_{\text{jk}}^{-1}}{{\sum }_{l,s\in Q_i}^{}{C}_{\text{ls}}^{-1}}$$

LLE在低维空间中保持${\omega }_i$不变，于是$x_i$对应的低维空间坐标$z_i$可通过下式求解：

令$Z=z_1,z_2,\dots ,z_m\in {\mathbb{R}}^{d^{{}^{\prime }}\times m},{\left(W\right)}_{\text{ij}}={\omega }_{\text{ij}}$，则

$$M={\left(I-M\right)}^T\left(I-M\right)$$

则

可通过特征值分解求解：M最小的$d^{\prime }$个特征值对应的特征向量组成的矩阵即为$Z^T$

10.6 度量学习

度量学习(metric learning)的基本动机：寻找一个合适的距离度量。

对两个的维度样本$x_i$和$x_j$,它们之间的平方欧式距离为

$${\text{dist}}_{\text{ed}}^2\left(x_i,x_j\right)={\Vert x_i-x_j\Vert }_2^2={\text{dist}}_{ij,1}^2+{\text{dist}}_{ij,2}^2+\dots +{\text{dist}}_{ij,d}^2$$

其中${\text{dist}}_{ij,k}$表示$x_i$和$x_j$在第k维上的距离。

若假定不同属性的重要性不同，则可引入属性权重$\omega$，得到

$${\text{dist}}_{\text{ed}}^2\left(x_i,x_j\right)={\Vert x_i-x_j\Vert }_2^2={{\omega }_1\bullet \text{dist}}_{ij,1}^2+{\omega }_2\bullet {\text{dist}}_{ij,2}^2+\dots +{\omega }_d\bullet {\text{dist}}_{ij,d}^2={\left(x_i-x_j\right)}^{T}W\left(x_i-x_j\right)$$

将上式中的M替换为一个普通的半定对称矩阵M，得到马氏距离(Mahalanobis distance)：

$${\text{dist}}_{\text{mah}}^2\left(x_i,x_j\right)={\left(x_i-x_j\right)}^{T}M\left(x_i-x_j\right)={\Vert x_i-x_j\Vert }_M^2$$

其中M亦称度量矩阵。M必须是正定对称矩阵，即必有正交基P使得M能写为$M=P{P}^T$

近邻成分分析(Neighborhood Component Analysis, NCA)

对任意样本$x_j$，它对$x_i$分类结果影响的概率为

$$p_{\text{ij}}=\frac{\exp \left(-{\Vert x_i-x_j\Vert }_M^2\right)}{{\sum }_l^{}\exp \left(-{\Vert x_i-x_l\Vert }_M^2\right)}$$

若以留一法正确率的最大化为目标，被自身之外的所有样本正确分类的概率为

$$p_i=\sum _{j\in {\Omega }_i}{p}_{\text{ij}}$$

其中${\Omega }_i$表示与$x_i$属于相同类别的样本的下标集合，则整个样本集上的留一法正确率为

$$\sum _{i=1}^m{p}_i=\sum _{i=1}^m\sum _{j\in {\Omega }_i}{p}_{\text{ij}}$$

则NCA的优化目标为

通过求解下面的这个凸优化问题获得适当的度量矩阵M