机器学习（周志华） 第十章降维与度量学习

关于周志华老师的《机器学习》这本书的学习笔记
记录学习过程
本博客记录Chapter10

1 $k$邻近学习

$k$近邻（$k-$Nearest Neighbor， KNN）学习是一种常用的监督学习方法。其基本思想是：给定测试样本，基于某种距离度量找到与其最靠近的$k$个训练样本，根据这$k$个邻居的信息来进行预测。其中，分类问题往往采用“投票法”；回归问题采用“平均法”。 其示意图如下：

$k-$近邻分类器没有显式的训练过程，训练过程仅需要将样本保存起来，待收到测试样本后再进行处理，是典型的“懒惰训练”（lazy learning）。该方法的核心是确定$k$，当$k=1$，其又叫做“最近邻分类器”。

给定测试样本$x$，若其最近邻样本为$z$，则最近邻分类器出错的概率是$x$与$z$标记不相同的概率：
$$P(err)=1-\sum _{c\in Y}P(c|x)P(c|z)$$
假设样本独立同分布，且对于任意$x$和任意小的正数$\delta$，在$x$附近$\delta$距离范围内总能找到一个训练样本。令$c^{\ast }=\arg {\max }_{c\in Y}P(c|x)$表示贝叶斯最优分类器的结果，有：

$$\begin{gathered} P(err)=1-\sum _{c\in Y}P(c|x)P(c|z)\simeq 1-\sum _{c\in Y}{P}^2(c|x)\le 1-P^2(c^{\ast }|x) \\ =(1+P(c^{\ast }|x))(1-P(c^{\ast }|x))\le 2\times (1-P(c^{\ast }|x)) \end{gathered}$$

即最近邻分类器虽然简单，但其泛化错误率不超过贝叶斯最优分类器的错误率的2倍。

2 低维嵌入

上一节的讨论我们基于一个重要的假设：训练样本的采样密度足够大。但这个假设在现实生活中往往无法实现，例如若$\delta =0.001$，仅考虑单个属性，则仅需1000个样本点平均分布在归一化后的属性取值范围内，即可使得任意测试样本在其附近0.001距离范围内总能找到一个训练样本，此时最近邻分类器的错误率不超过贝叶斯最优分类器的错误率的两倍。然而，这仅是属性维数为1的情形，若有更多的属性，则情况会发生显著变化。例如假定属性维数为20，若要求样本满足密采样条件，则至少需$(10^3{)}^{20}=10^{60}$个样本.现实应用中属性维数经常成千上万，要满足密采样条件所需的样本数目是无法达到的天文数字。此外，许多学习方法都涉及距离计算，而高维空间会给距离计算带来很大的麻烦，例如当维数很高时甚至连计算内积都很困难。

在高维情形下出现的样本数据稀疏、距离计算困难的问题，称为“维数灾难”（curse of dimensionality）。 而缓解维数灾难的方法就是降维：即通过某种数学变换将原始高维属性空间转变为一个低维“子空间”（subspace）。

降维要求原始空间中的样本之间的距离在低维空间中得以保持，即得到多维缩放（MDS）：

• 假定$m$个样本在原始空间的距离矩阵为$D\in R^{m\times m}$，其$i$行$j$列的元素$dis{t}_{ij}$为样本$x_i$到$x_j$的距离。我们的目标是获得样本在$d^{\prime }$维空间的表示$Z\in R^{d^{\prime }\times m},d^{\prime }\le d$，且任意两个样本在$d^{\prime }$维的空间中欧氏距离等于原始空间中的距离，即$||z_i-z_j||=dis{t}_{ij}$。

• 令$B=Z^{T}Z\in R^{m\times m}$，其中$B$为降维后的样本内积矩阵，$b_{ij}=z_i^T{z}_j$，有
  $$dis{t}_{ij}^2=||z_i|{|}^2+||z_j|{|}^2-2z_i^T{z}_j=b_{ii}+b_{jj}-2b_{ij}$$

• 令降维后的样本$Z$被中心化，即${\sum }_{i=1}^m{z}_i=0$。我们可以得到：
  $$\begin{gathered} \sum _{i=1}^m{b}_{ij}=\sum _{i=1}^m{z}_i^T{z}_j=(\sum _{i=1}^m{z}_i^T)z_j=0 \\ \sum _{j=1}^m{b}_{ij}=\sum _{j=1}^m{z}_i^T{z}_j=z_i^T(\sum _{j=1}^m{z}_j)=0 \end{gathered}$$

• 根据$dist$的公式，我们能得到（$tr(\cdot )$表示矩阵的迹（trace））：
  $$\begin{gathered} \sum _{i=1}^{j}dis{t}_{ij}^2=\sum _{i=1}^m(b_{ii}+b_{jj}-2b_{ij})=tr(B)+m{b}_{jj} \\ \sum _{j=1}^{j}dis{t}_{ij}^2=\sum _{j=1}^m(b_{ii}+b_{jj}-2b_{ij})=tr(B)+m{b}_{ii} \\ \sum _{i=1}^m\sum _{j=1}^{m}dis{t}_{ij}^2=2m\cdot tr(B) \\ tr(B)=\sum _{i=1}^m||z_i|{|}^2 \end{gathered}$$

• 令：
  $$\begin{gathered} dis{t}_{i\cdot }^2=\frac{1}{m}\sum _{j=1}^{m}dis{t}_{ij}^2 \\ dis{t}_{\cdot j}^2=\frac{1}{m}\sum _{i=1}^{m}dis{t}_{ij}^2 \\ dis{t}_{\cdot \cdot }^2=\frac{1}{m^2}\sum _{i=1}^m\sum _{j=1}^{m}dis{t}_{ij}^2 \end{gathered}$$

• 由上述各式子可得
  $$b_{ij}=-\frac{1}{2}(dis{t}_{ij}^2-dis{t}_{i\cdot }^2-dis{t}_{\cdot j}^2+dis{t}_{\cdot \cdot }^2)$$

• 对矩阵$B$做特征值分解，得$B=V\Lambda V^T$，其中 Λ = d i a g { λ 1 , λ 2 , … , λ d } \Lambda=diag \{\lambda_1,\lambda_2,…,\lambda_d \} Λ=diag{λ1​,λ2​,…,λd​}为特征值构成的对角矩阵，${\lambda }_1\ge {\lambda }_2\ge \dots \ge {\lambda }_d$，$V$是特征向量矩阵。假定有$d^{\ast }$个非零特征值，它们构成对角矩阵 Λ ∗ = d i a g { λ 1 , λ 2 , … , λ d ∗ } \Lambda_*=diag\{\lambda_1,\lambda_2,…,\lambda_{d^*} \} Λ∗​=diag{λ1​,λ2​,…,λd∗​}，令$V_{\ast }$表示相应的特征向量矩阵，则有：
  $$Z={\Lambda }_{\ast }^{1/2}{V}_{\ast }^T\in R^{d^{\ast }\times m}$$

MDS算法的描述如下：

3 主成分分析

主成分分析（Principal Component Analysis，PCA）是一类典型的线性降维方法。其原理可以通过以下两个性质分别推导：

• 最近重构性：样本点到超平面的距离足够近
• 最大可分性：样本点到超平面的投影尽可能分开

从最近重构性的角度去推导：

• 首先对数据样本进行中心化，即${\sum }_{i=1}{x}_i=0$。

• 假定投影变换后得到的新坐标系为： { w 1 , w 2 , … ， w d } \{w_1,w_2,…，w_d\} {w1​,w2​,…，wd​}。
  其中$w_i$是标准正交基向量，$||w_i|{|}_2=1,w_i^T{w}_j=0(i\ne j)$。若丢弃部分坐标，即将维度降低到$d^{\prime }<d$，则样本点$x_i$在低维坐标系中的投影为 z i = { z i 1 , z i 2 , … , z i d ′ } z_i=\{z_{i1},z_{i2},…,z_{id'} \} zi​={zi1​,zi2​,…,zid′​}，其中$z_{ij}=w_j^T{x}_i$是$x_i$在低维坐标系下第$j$维的坐标，若基于$z_i$来重构$x_i$，则得到$\widehat{x_i}={\sum }_{j=1}^{d^{\prime }}{z}_{ij}{w}_j$

• 考虑整个训练集，原样本点$x_i$到基于投影重构的样本点${\hat{x}}_i$之间的距离为：
  $$\sum _{i=1}^m||\sum _{i=1}^{d^{\prime }}{z}_{ij}{w}_j-x_i|{|}_2^2=\sum _{i=1}^m{z}_i^T{z}_i-2\sum _{i=1}^m{z}_i^T{W}^T{x}_i+const$$

• 其中$W=(w_1,w_2,\dots ,w_d)$。根据最近重构性，应最小化上式，等价于：
  $$\begin{gathered} \underset{W}{\min }-tr(W^{T}X{X}^{T}W) \\ s.t.W^{T}W=I \end{gathered}$$

只需对协方差矩阵$X{X}^T$进行特征值分解，将求得的特征值排序:${\lambda }_1\ge {\lambda }_2\ge ...\ge {\lambda }_d$，再取前$d^{\prime }$个特征值对应的特征向量构成$W=(w_1,w_2,...,w_{d^{\prime }})$.这就是主成分分析的解。PCA算法描述如图所示：

4 核化线性降维

线性降维方法假设从高维空间到低维空间的函数映射是线性的，然而在不少现实任务中，可能需要非线性映射才能找到恰当的低维嵌入。下图给出了一个例子， 样本点从二维空间中的矩形区域采样后以S形曲面嵌入到三维空间，若直接使用线性降维方法对三维空间观察到的样本点进行降维，则将丢失原本的低维结构。

为了对“原本采样的”低维空间与降维后的低维空间加以区别，我们称前者为 “本真”(intrinsic)低维空间。

非线性降维的一种方法是基于核技巧的对线性降维方法进行“核化”（kernelized）。以核主成分分析（Kernelized PCA）为例：

• 假定高维特征空间中把数据投影到由 W = { w 1 , w 2 , … , w d } W=\{w_1,w_2,…,w_d \} W={w1​,w2​,…,wd​}确定的超平面，对于$w_j$，有
  $$(\sum _{i=1}^m{z}_i{z}_i^T)w_j={\lambda }_j{w}_j$$

• 易知：
  $$w_j=\frac{1}{{\lambda }_j}(\sum _{i=1}^m{z}_i{z}_i^T)w_j=\sum _{i=1}^m{z}_i\frac{z_i^T{w}_j}{{\lambda }_j}=\sum _{i=1}^m{z}_i{\alpha }_i^j$$

• 假设$z_i$由原始属性空间中的样本点$x_i$通过映射$\varphi$产生，即$z_i=\varphi (x_i),i=1,2,\dots ,m$。若$\varphi$能被显式表达出来，则通过它将样本映射到高维特征空间，再将特征空间中实施PCA即可
  $$\begin{gathered} (\sum _{i=1}^m\varphi (x_i)\varphi (x_i{)}^T)w_j={\lambda }_j{w}_j \\ {w}_j=\sum _{i=1}^m\varphi (x_i){\alpha }_i^j \end{gathered}$$

• 引入核函数：$\kappa (x_i,x_j)=\varphi (x_i)\varphi (x_j)$

• 化简后可得：
  $$K{\alpha }^j={\lambda }_j{\alpha }^j$$

• 其中，$K$为$\kappa$对应的核矩阵，$(K{)}_{ij}=\kappa (x_i,x_j),{\alpha }_j=({\alpha }_1^j,{\alpha }_2^j,\dots ,{\alpha }_m^j)$。显然上式是一个特征值分解问题，去$K$最大的$d^{\prime }$个特征值对应的特征向量即可。

• 对于新样本$x$，其投影后的第$j$维坐标为：
  $$z_j=w_j^T\varphi (x)=\sum _{i=1}^m{\alpha }_i^j\varphi (x_i{)}^T\varphi (x)=\sum _{i=1}^T{\alpha }_i^j\kappa (x_i,x)$$

5 流形学习

流形学习(manifold learning) 是一类借鉴了拓扑流形概念的降维方法。流形是在局部与欧氏空间同胚的空间，换言之，它在局部具有欧氏空间的性质，能用欧氏距离来进行距离计算。这给降维方法带来了很大的启发：若低维流形嵌入到高维空间中，则数据样本在高维空间的分布虽然看上去非常复杂，但在局部上仍具有欧氏空间的性质，因此，可以容易地在局部建立降维映射关系，然后再设法将局部映射关系推广到全局。 当维数被降至二维或三维时，能对数据进行可视化展示，因此流形学习也可被用于可视化。

5.1 等度量映射

等度量映射（Isometric Mapping，简称Isomap）：认为低维流形嵌入到高维空间之后，直接再高维空间计算直线距离有误导性，因为高维空间中直线距离在低维嵌入流形中不可达。如蚂蚁从一点爬到另一点，直接计算直线距离相当于“脱离曲面行走”，这是不可能的，具体见下图。

那么，如何计算测地线距离呢？

这时我们可利用流形在局部上与欧氏空间同胚这个性质，对每个点基于欧氏距离找出其近邻点，然后就能建立一个近邻连接图，图中近邻点之间存在连接，而非近邻点之间不存在连接，于是，计算两点之间测地线距离的问题，就转变为计算近邻连接图上两点之间的最短路径问题。 可以采用dijkstra算法或Floyd算法求得最短路径，再利用MDS算法获得样本点在低维空间中的坐标。

综上，Isomap算法流程如下：

需注意的是，Isomap仅是得到了训练样本在低维空间的坐标，对于新样本，如何将其映射到低维空间呢?这个问题的常用解决方案，是将训练样本的高维空间坐标作为输入、低维空间坐标作为输出，训练以一个回归学习器来对新样本的低维空间坐标进行预测。

5.2 局部线性嵌入

等度量映射试图保持邻域内样本之间的距离，而局部线性嵌入（Locally Linera Embedding，LLE）试图保持邻域内样本之间的线性关系。

假定样本$x_i$的坐标能通过其邻域样本$x_j,x_k,x_l$的坐标通过线性组合表示：
$$x_i=w_{ij}{x}_j+w_{ik}{x}_k+w_{il}{x}_l$$
LLE希望上式在低维空间中能得以保持。

其算法描述如下图：

6 度量学习

在机器学习中，对高维数据进行降维的主要目的是希望找到一个合适的低维空间，在此空间中进行学习能比原始空间性能更好。事实上,每个空间对应了在样本属性上定义的一个距离度量，而寻找合适的空间，实质上就是在寻找一个合适的距离度量。那么，为何不直接尝试“学习”出一个合适的距离度量呢？这就是度量学习(metric learning) 的基本动机.

对两个$d$维样本$x_i$和$x_j$，它们之间的平方欧氏距离可以写为：
$$dis{t}_{ed}^2(x_i,x_j)=||x_i-x_j|{|}_2^2=dis{t}_{ij,1}^2+dis{t}_{ij,2}^2+\dots +dis{t}_{ij,d}^2$$
其中，$dis{t}_{ij,k}$表示$x_i$和$x_j$之间在$k$维上的距离。同时若假定不同属性的重要性不同，可以引入属性权重$w$，得到：

$$\begin{gathered} dis{t}_{ed}^2(x_i,x_j)=w_1\cdot dis{t}_{ij,1}^2+w_2\cdot dis{t}_{ij,2}^2+\dots +w_d\cdot dis{t}_{ij,d}^2 \\ =(x_i-x_j{)}^{T}W(x_i-x_j) \end{gathered}$$

其中$W=diag(w)$是一个对角矩阵，$(W{)}_{ii}=w_i$。

式中的$W$可通过学习确定，但我们还能再往前走一步：$W$的非对角元素均为零，这意味着坐标轴是正交的，即属性之间无关；但现实问题中往往不是这样，例如考虑西瓜的“重量”和“体积”这两个属性，它们显然是正相关的，其对应的坐标轴不再正交。

为此,将式中的$W$替换为一个普通的半正定对称矩阵M，于是就得到了马氏距离(Mahalanobis distance)
$$dis{t}_{mah}^2(x_i,x_j)=(x_i-x_j{)}^{T}M(x_i-x_j)=||x_i-x_j|{|}_M^2$$
$M$亦称度量矩阵。对$M$学习要设立一个目标，假定我们希望提高近邻分类器的性能，可以将$M$直接嵌入到近邻分类器的评价指标中，通过优化该性能指标求得$M$。下面以近邻成分分析为例：

• 近邻分类器往往以投票法进行判别。假设对于任意样本$x_j$，它对$x_i$的分类结果影响的概率为
  $$p_{ij}=\frac{exp(-||x_i-x_j|{|}_M^2)}{{\sum }_{l}exp(-||x_i-x_l|{|}_M^2)}$$
  $x_j$对$x_i$的影响随着它们之间距离的增加而减小。

• 若以留一法正确率的最大化为目标，可直接计算$x_i$的留一法的正确理，即它被自身之外所有样本正确分类的概率：
  $$p_i=\sum _{j\in {\Omega }_i}{p}_{ij}$$

• 因此，NCA的优化目标为：
  $$\underset{P}{\min }1-\sum _{i=1}^m\sum _{j\in {\Omega }_i}\frac{exp(-||x_i-x_j|{|}_M^2)}{{\sum }_{l}exp(-||x_i-x_l|{|}_M^2)}$$

• 求解上式即可以得到最大化近邻分类器LOO正确率的距离度量矩阵$M$。