机器学习入门-西瓜书总结笔记第十章

---

一、k近邻学习

• k近邻（k-Nearest Neighbor，简称kNN） 学习是一种常用的监督学习方法，其工作机制非常简单：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个“邻居”的信息来进行预测。通常，在分类任务中可使用“投票法”，即选择这k个样本中出现最多的类别标记作为预测结果；在回归任务中可使用“平均法”，即将这k个样本的实值输出作为标记的平均值作为预测结果；还可基于距离远近进行加权平均或加权投票，距离越近的样本权重越大。
• 没有显式的训练过程，事实上，它是 “懒惰学习”（lazy learning） 的著名代表。此列学习技术在训练阶段仅仅是把样本保存起来，训练时间开销为零，待收到测试样本后再进行处理；相应的，那些在训练阶段就对样本进行学习处理的方法，称为“急切学习”（eager learning）
  
  暂且假设距离计算是“恰当”的，即能够恰当地找出k个近邻，对“最近邻分类器”（1NN，即k=1）在二分类问题上的性能做一个简单的讨论。
  给定测试样本$x\text{x}x$，若其最近邻样本为$z\text{z}z$，则最近邻分类器出错的概率就是将
  $x\text{x}x$与$z\text{z}z$类别标记不同的概率，即
  $$P(err)=1-\sum _{c\in \mathcal{Y}}P(c|x\text{x}x)P(c|z\text{z}z)$$
  假设样本独立同分布，且对任意$x\text{x}x$和任意小正数$\delta$，在$x\text{x}x$附近$\delta$距离范围内总能找到一个训练样本；换言之，对任意测试样本，总能在任意近的范围内找到训练样本$z\text{z}z$。令$c^{\ast }={\mathrm{argmax}}_{c\in \mathcal{Y}}P(c|x\text{x}x)$表示贝叶斯最优分类器的结果，有
  $$\begin{array}{rl}P(err)& =1-\sum _{c\in \mathcal{Y}}P(c|x\text{x}x)P(c|z\text{z}z)\\ & \simeq 1-\sum _{c\in \mathcal{Y}}{P}^2(c|x\text{x}x)\\ & \le 1-P^2(c^{\ast }|x\text{x}x)\\ & =(1+P(c^{\ast }|x\text{x}x))(1-P(c^{\ast }|x\text{x}x))\\ & \le 2\times (1-P(c^{\ast }|x\text{x}x))\end{array}$$
  于是得到结论：最近邻分类器虽简单，但它的泛化错误率不超过贝叶斯最优分类器的错误率的两倍

二、低维嵌入

上一节讨论的是基于一个重要假设：任意测试样本$x\text{x}x$附近任意小的$\delta$距离范围内总能找到一个训练样本，即训练样本的采样密度足够大，或称为 “密采样”（dense sample）。
事实上，在高维情况下出现的数据样本稀疏、距离计算困难等问题，是所有机器学习方法共同面临的严重障碍，被称为 “维度灾难”（curse of dimensionality）
缓解维度灾难的一个重要途径是 降维（dimension reduction），亦称 “维度简约”，即通过某种数学变换将原始高维空间转换为一个低维 “子空间”（subspace）。人们观测或收集到的数据样本虽是高维的，但与学习任务密切相关的也许仅是某个低维分布，即高维空间中的一个低维“嵌入”（embeding）。
若要求原始空间中样本之间的距离在低维空间中得以保持，即得到 “多维缩放”（Multiple Dimensional Scalling，简称MDS） 这样一种经典的降维方法。
假定m个样本在原始空间的距离矩阵为$D\text{D}D\in {\mathbb{R}}^{m\times m}$，其第i行j列的元素${\mathrm{dist}}_{ij}$为样本${x\text{x}x}_i$到${x\text{x}x}_j$的距离。目标是获取样本在d’维空间的表示$Z\text{Z}Z\in {\mathbb{R}}^{d^{\prime }\times m},d^{\prime }\le d$，且任意两个样本在d’维空间中的欧式距离等于原始空间中的距离，即$||z_i-z_j||=dis{t}_{ij}$。
令$B\text{B}B={Z\text{Z}Z}^{T}Z\text{Z}Z\in {\mathbb{R}}^{m\times m}$，其中$B\text{B}B$为降维后样本的内积矩阵，$b_{ij}=z_i^T{z}_j$
$$\begin{array}{rl}dis{t}_{ij}^2& =||z_i|{|}^2+||z_j|{|}^2-2z_i^T{z}_j\\ & =b_{ii}+b_{jj}-2b_{ij}\end{array}$$
为了便于讨论，令降维后的样本$Z\text{Z}Z$被中心化，即${\sum }_{i=1}^m{z}_i=0$。显然，矩阵$B\text{B}B$的行与列之和均为零，即${\sum }_{i=1}^m{b}_{ij}={\sum }_{j=1}^m{b}_{ij}=0$
$$\begin{array}{r}\sum _{i=1}^{m}dis{t}_{ij}^2=tr(B\text{B}B)+m{b}_{jj},\\ \sum _{j=1}^{m}dis{t}_{ij}^2=tr(B\text{B}B)+m{b}_{ii},\\ \sum _{i=1}^m\sum _{j=1}^{m}dis{t}_{ij}^2=2m\cdot tr(B\text{B}B),\end{array}$$
其中$tr(\cdot )$表示矩阵的迹（trace），$tr(B\text{B}B)={\sum }_{i=1}^m||z_i|{|}^2$。令
$$\begin{array}{rl}& dis{t}_{i\cdot }^2=\frac{1}{m}\sum _{j=1}^{m}dis{t}_{ij}^2,\\ & dis{t}_{\cdot j}^2=\frac{1}{m}\sum _{i=1}^{m}dis{t}_{ij}^2,\\ & dis{t}_{\cdot \cdot }^2=\frac{1}{m^2}\sum _{i=1}^m\sum _{j=1}^{m}dis{t}_{ij}^2,\end{array}$$
由上列式子可得
$$b_{ij}=-\frac{1}{2}(dis{t}_{ij}^2-dis{t}_{i\cdot }^2-dis{t}_{\cdot j}^2+dis{t}_{\cdot \cdot }^2)$$
由此即可通过降维前后保持不变的距离矩阵$D\text{D}D$求得内积矩阵$B\text{B}B$。
对矩阵$B\text{B}B$做特征值分解（eigenvalue decomposition），$B\text{B}B=V\text{V}V\Lambda \text{Λ}\Lambda {V\text{V}V}^T$，其中$\Lambda \text{Λ}\Lambda =\mathrm{diag}({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_d)$为特征值构成的对角矩阵，${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_d$，$V\text{V}V$为特征向量矩阵。假定其中有$d^{\ast }$个非零特征值，它们构成对角矩阵${\Lambda \text{Λ}\Lambda }_{\ast }=\mathrm{diag}({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_{d^{\ast }})$，令${V\text{V}V}_{\ast }$表示相应的特征向量矩阵，则$Z\text{Z}Z$可表达为
$$Z\text{Z}Z={\Lambda \text{Λ}\Lambda }_{\ast }^{1/2}{V\text{V}V}_{\ast }^T\in {\mathbb{R}}^{d^{\ast }\times m}$$
在现实应用中为了有效降维，往往仅需要降维后的距离与原始空间中的距离尽可能接近，而不必严格相等。此时可取$d^{\prime }\ll d$个最大特征值构成对角矩阵$\tilde{\Lambda }\text{Λ~}\tilde{\Lambda }=\mathrm{diag}({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_{d^{\prime }})$，则
$$Z\text{Z}Z={\tilde{\Lambda }\text{Λ~}\tilde{\Lambda }}^{1/2}{\tilde{V}\text{V~}\tilde{V}}^T\in {\mathbb{R}}^{d^{\prime }\times m}$$
一般来说，欲获得低维子空间，最简单的是对原始高维空间进行线性变换。给定d维空间中的样本$X\text{X}X=({x\text{x}x}_1,{x\text{x}x}_2,\cdots ,{x\text{x}x}_m)\in {\mathbb{R}}^{d\times m}$，变换之后得到$d^{\prime }\le d$维空间样本
$$Z\text{Z}Z={W\text{W}W}^{T}X\text{X}X$$
其中$W\text{W}W\in {\mathbb{R}}^{d\times d^{\prime }}$是变换矩阵，$Z\text{Z}Z\in {\mathbb{R}}^{d^{\prime }\times m}$是样本在新空间中的表达
变换矩阵$W\text{W}W$可视为d’个d维基向量，$z_i={W\text{W}W}^T{x\text{x}x}_i$是第i个样本与这d‘个基向量分别做内积而得到的d’维属性向量。换言之，${z\text{z}z}_i$是原属性向量${x\text{x}x}_i$在新坐标系 { w 1 , w 2 , ⋯   , w d ′ } \{\pmb w_1,\pmb w_2,\cdots,\pmb w_{d'}\} {www1​,www2​,⋯,wwwd′​}中的坐标向量

• 基于线性变换来进行降维的方法称为 线性降维方法，不同之处是对低维子空间的性质不同的要求，相当于对$W\text{W}W$施加了不同的约束

三、主成分分析

• 主成分分析（Principal Component Analysis，简称为PCA） 是最常用的一种降维方法

如何用一个超平面（直线的高维推广）对所有样本进行恰当的表达？若存在这样的超平面，那么大概应具有这样的性质：

• 最近重构性：样本点到这个超平面的距离都足够近
• 最大可分性：样本点在这个超平面的投影能尽可能分开

假定样本进行了中心化，即${\sum }_i{x\text{x}x}_i=0$；再假定投影变换后得到的新的坐标系为 { w 1 , w 2 , ⋯   , w d ′ } \{\pmb w_1,\pmb w_2,\cdots,\pmb w_{d'}\} {www1​,www2​,⋯,wwwd′​}，其中${w\text{w}w}_i$为标准正交基向量，$||{w\text{w}w}_i|{|}_2=1,{w\text{w}w}_i^T{w\text{w}w}_j=0(i\ne j)$。若丢弃新坐标系中的部门坐标，即将维度降低到$d^{\prime }<d$，则样本点${x\text{x}x}_i$在低维坐标系中的投影是${z\text{z}z}_i=(z_{i1};z_{i2};\cdots ;z_{i{d}^{\prime }})$，其中$z_{ij}={w\text{w}w}_j^T{x\text{x}x}_i$是${x\text{x}x}_i$在低维坐标系下第j维的坐标。若基于${z\text{z}z}_i$来重构${x\text{x}x}_i$，则会得到${\widehat{x\text{x}x}}_i={\sum }_{j=1}^{d^{\prime }}{z}_{ij}{w\text{w}w}_j$
考虑整个训练集，原样本点${x\text{x}x}_i$与基于投影重构的样本点${\widehat{x\text{x}x}}_i$之间的距离为
$$\begin{array}{rl}\sum _{i=1}^m\left|\right|\sum _{j=1}^{d^{\prime }}{z}_{ij}{w\text{w}w}_j-{x\text{x}x}_i|{|}_2^2& =\sum _{i=1}^m{z\text{z}z}_i^T{z\text{z}z}_i-2\sum _{i=1}^m{z\text{z}z}_i^T{W\text{W}W}^T{x\text{x}x}_i+\mathrm{const}\\ & \propto -tr\left({W\text{W}W}^T\right(\sum _{i=1}^m{x\text{x}x}_i{x\text{x}x}_i^T\left)W\text{W}W\right)\end{array}$$
根据最近重构性，上式应该被最小化，考虑到${w\text{w}w}_j$是标准正交基，${\sum }_i{x\text{x}x}_i{x\text{x}x}_i^T$是协方差矩阵，有
$$\begin{array}{rl}& \underset{W}{\min }-tr({W\text{W}W}^{T}X\text{X}X{X\text{X}X}^{T}W\text{W}W)\\ & s.t.{W\text{W}W}^{T}W\text{W}W=I\text{I}I.\end{array}$$
这就是主成分分析的优化目标
从最大可分性出发，能得到主成分分析的另一种解释。样本点${x\text{x}x}_i$在新空间中超平面上的投影是${W\text{W}W}^T{x\text{x}x}_i$，若所有样本点的投影能尽可能分开，则应该使投影后样本点的方差最大化
投影后样本的方差是${\sum }_i{W\text{W}W}^T{x\text{x}x}_i{x\text{x}x}_i^{T}W\text{W}W$，于是优化目标可写为
$$\begin{array}{rl}& \underset{W}{\max }tr({W\text{W}W}^{T}X\text{X}X{X\text{X}X}^{T}W\text{W}W)\\ & s.t.{W\text{W}W}^{T}W\text{W}W=I\text{I}I.\end{array}$$
使用拉格朗日乘子法可得
$$X\text{X}X{X\text{X}X}^{T}W\text{W}W=\lambda W\text{W}W$$
于是对协方差矩阵$X\text{X}X{X\text{X}X}^T$进行特征值分解，将求得的特征值排序：${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_d$，再取前d’个特征值对应的特征向量构成$W\text{W}W=({w\text{w}w}_1,{w\text{w}w}_2,\cdots ,{w\text{w}w}_{d^{\prime }})$
降维后的低维空间维数d’通常是由用户事先指定，或通过在d’值不同的低维空间中对k近邻分类器（或其他开销较小的学习器）进行交叉验证来选取较好的d’值。对PCA，还可以从重构的角度设置一个重构阈值，例如t=95%，然后选取使下式成立的最小d’值
$$\frac{su{m}_{i=1}^{d^{\prime }}{\lambda }_i}{su{m}_{i=1}^d{\lambda }_i}\ge t.$$
PCA仅需保留$W\text{W}W$与样本的均值向量即可通过简单的向量减法和矩阵-向量乘法将新样本投影到低维空间。最小的d-d’个特征值向量被舍弃了，但舍弃这部分信息往往是必要的：一方面，舍弃这部门信息之后能使样本的采样密度增大，这正是降维的重要动机；另一方面，当数据收到噪声影响时，最小的特征值所对应的特征向量往往与噪声有关，将他们舍弃能在一定程度上起到去噪的效果

四、核化线性降维

线性降维方法假设从高维空间到低维空间的函数映射是线性的，然而，在现实任务中，可能需要非线性映射才能找到恰当的低维嵌入jiqiao
为了对“原本采样的”低维空间与降维后的低维空间加以区别，称前者为 “本真”（intrinsic）低维空间
非线性降维的一种常用方法，是基于核技巧对线性降维方法进行 “核化”（kernelized），下面以核主成分分析（Kernelized PCA，简称KPCA）为例来进行演示
假定将在高维特征空间中把数据投影到有$W\text{W}W$确定的超平面上，即PCA欲求解
$$\left(\sum _{i=1}^m{z}_i{z}_i^T\right)W\text{W}W=\lambda W\text{W}W$$
其中${z\text{z}z}_i$是样本点${x\text{x}x}_i$在高维特征空间中的像。易知
$$\begin{array}{rl}W\text{W}W& =\frac{1}{\lambda }\left(\sum _{i=1}^m{z\text{z}z}_i{z\text{z}z}_i^T\right)W\text{W}W=\sum _{i=1}^m{z\text{z}z}_i\frac{{z\text{z}z}_i^{T}W\text{W}W}{\lambda }\\ & =\sum _{i=1}^m{z\text{z}z}_i{\alpha \text{α}\alpha }_i\end{array}$$
若空间变换能被显式的表达出来：
$$\begin{gathered} (\sum _{i=1}^m\varphi ({x\text{x}x}_i)\varphi ({x\text{x}x}_i{)}^T)W\text{W}W=\lambda W\text{W}W \\ W\text{W}W=\sum _{i=1}^m\varphi ({x\text{x}x}_i){\alpha \text{α}\alpha }_i \end{gathered}$$
一般情形下，不清楚$\varphi$的具体形式，于是引入核函数
$$\kappa ({x\text{x}x}_i,{x\text{x}x}_j)=\varphi ({x\text{x}x}_i{)}^T\varphi ({x\text{x}x}_j).$$
空间变换可简化为
$$K\text{K}KA\text{A}A=\lambda A\text{A}A$$
其中$K\text{K}K$为$\kappa$对应的核矩阵，$(\text{(}(K{)}_{ij}=\kappa ({x\text{x}x}_i,{x\text{x}x}_j),A\text{A}A=({\alpha \text{α}\alpha }_1;{\alpha \text{α}\alpha }_2;\cdots ;{\alpha \text{α}\alpha }_m)$.显然，上式是特征值分解问题，取$K\text{K}K$最大的d’个特征值对应的特征向量即可。
对新样本$x\text{x}x$，其投影后的第$j(j=1,2,\cdots ,d^{\prime })$维坐标为
$$\begin{array}{rl}{z}_j& ={w\text{w}w}_j^T\varphi (x\text{x}x)=\sum _{i=1}^m{\alpha }_i^j\varphi ({x\text{x}x}_i{)}^T\varphi (x\text{x}x)\\ & =\sum _{i=1}^m{\alpha }_i^j\kappa ({x\text{x}x}_i,x\text{x}x)\end{array}$$
为获得投影后的坐标，KPCA需对所有样本求和，因此它的计算开销较大

五、流行学习

• 流行学习（manifold learning） 是一类借鉴了拓扑流行概念的降维方法。“流行”是在局部与欧式空间同胚的空间，换言之，它在局部具有欧式空间的性质，能用欧式距离来进行计算。这给降维方法带来了很大的启发：若低维流行嵌入到高维空间中，则数据样本在高维空间的分布虽然看起来非常复杂，但在局部上仍具有欧式空间的性质，因此，可以容易地在局部建立降维映射关系，然后再设法将局部映射关系推广到全局。当维数降至二维或三维时，能对数据进行可视化展示，因此流行学习可被用于可视化。

1.等度量映射

• 等度量映射（Isometrix Mapping，简称Isomap） 的基本出发点，是认为低维流行嵌入到高维空间之后，直接在高维空间中计算直线距离具有误导性，因为高维空间中的直线距离在低维嵌入流行上是不可达的
  图(a)所示，低维嵌入流形上两点间的距离是 “测地线”（geodesic）距离：想象一只虫子从一点爬到另一点，如果它不能脱离曲面行走，那么图(a)中的红色曲线是距离最短的路径，即S曲面上的测地线，测地点距离是两点之间的本真距离。显然，直接在高维空间中计算直线距离是不恰当的
  那么，如何计算测地线距离呢？可利用流行在局部上与欧式距离同胚这个性质，对每个点基于欧式距离找出其相邻点，然后就建立一个近邻连接图，图中近邻点之间存在连续，而非近邻点之间不存在连续，于是，计算两个点之间测地线距离的问题，就转变为计算近邻连接图上两点之间的最短路径的图
  在近邻连接图上计算两点之间最短路径，可采用著名的Dijkstra算法Floyd算法，在得到任意两点的距离之后，就可通过介绍的MDS方法获得样本点在低维空间中的坐标
  需要注意的是，Isomap仅是得到了训练样本在低维空间的坐标，对于新样本，如何将其映射到低维空间呢？常用的解决方案，是将训练样本的高维空间坐标作为输入、低维空间作为输出，训练一个回归学习器来对新样本的低维空间坐标进行预测。这显然仅是权宜之计，但目前似乎并没有更好的办法
  对近邻图的构建通常有两种做法，一种是指定近邻点点数，例如欧式距离最近的k个点为近邻点，这样的到的近邻图称为k近邻图；另一种是指定距离阈值$ϵ$，距离小于$ϵ$的点被认为是近邻点，这样得到的近邻图称为$ϵ$近邻图

2.局部线性嵌入

与Isomap试图保持近邻样本之间的距离不同，局部线性嵌入（Locally Linear Embedding，简称LLE） 试图保持领域内样本之间的线性关系，如图所示，假定样本点${x\text{x}x}_i$的坐标能通过它的领域样本${x\text{x}x}_j,{x\text{x}x}_k,{x\text{x}x}_l$的坐标通过线性组合而重构出来，即
$${x\text{x}x}_i=w_{ij}{x\text{x}x}_j+w_{ik}{x\text{x}x}_k+w_{il}{x\text{x}x}_l$$
LLE希望上式得关系在低维空间中得以保持
LLE先为每个样本${x\text{x}x}_i$找到其近邻下标集合${Q\text{Q}Q}_i$，然后计算出基于${Q\text{Q}Q}_i$中的样本点对${x\text{x}x}_i$进行线性重构的系数${w\text{w}w}_i$：
$$\begin{gathered} \underset{w_1,w_2,\cdots ,w_m}{\min }\sum _{i=1}^m\left|\right|{x\text{x}x}_i-\sum _{j\in Q_i}{w}_{ij}{x\text{x}x}_j|{|}_2^2 \\ s.t.\sum _{j\in Q_i}{w}_{ij}=1, \end{gathered}$$
其中${x\text{x}x}_i$和${x\text{x}x}_j$均为已知，令$C_{jk}=({x\text{x}x}_i-{x\text{x}x}_j{)}^T({x\text{x}x}_i-{x\text{x}x}_j)$，$w_{ij}$有闭式解
$$w_{ij}=\frac{{\sum }_{k\in Q_i}{C}_{jk}^{-1}}{{\sum }_{l,s\in Q_i}{C}_{ls}^{-1}}$$
LLE在低维空间中保持${w\text{w}w}_i$不变，于是${x\text{x}x}_i$对应的低维空间坐标${z\text{z}z}_i$可通过下式求解：
$$\underset{z_1,z_2,\cdots ,z_m}{\min }\sum _{i=1}^m\left|\right|{z\text{z}z}_i-\sum _{j\in Q_i}{w}_{ij}{z\text{z}z}_j|{|}_2^2$$
令$Z\text{Z}Z=({z\text{z}z}_1,{z\text{z}z}_2,\cdots ,{z\text{z}z}_m)\in {\mathbb{R}}^{d^{\prime }\times m},(W\text{W}W{)}_{ij}=w_{ij}$,
$$M\text{M}M=(I\text{I}I-W\text{W}W{)}^T(I\text{I}I-W\text{W}W)$$
上求解式可重写为
$$\begin{gathered} \underset{Z}{\min }tr(Z\text{Z}ZM\text{M}M{Z\text{Z}Z}^T), \\ s.t.Z\text{Z}Z{Z\text{Z}Z}^T=I\text{I}I \end{gathered}$$
上式可通过特征值分解求解：$M\text{M}M$最小的d’个特征值对应的特征向量组成的矩阵即为${Z\text{Z}Z}^T$

六、度量学习

在机器学习中，对高维数据进行降维的主要目的是希望找到一个适合的低维空间，在此空间中进行学习能比原始空间性能更好。事实上，每个空间对应了在样本属性上定义的一个距离度量，而寻找合适的空间，实质上就是寻找一个合适的距离度量，那么，为何不直接尝试“学习”出一个合适的距离度量呢？这就是度量学习（metric learning） 的基本动机
对两个d维样本${x\text{x}x}_i$和${x\text{x}x}_j$，它们之间的平方欧式距离可写为
$$dis{t}_{ed}^2({x\text{x}x}_i,{x\text{x}x}_j)=||{x\text{x}x}_i-{x\text{x}x}_j|{|}_2^2=dis{t}_{ij,1}^2+dis{t}_{ij,2}^2+\cdots +dis{t}_{ij,d}^2,$$
其中$dis{t}_{ij,k}$表示${x\text{x}x}_i$与${x\text{x}x}_j$在第k维上的距离。若假定不同属性的重要性不同，则可引入属性权重$w\text{w}w$，得到
$$\begin{array}{rl}dis{t}_{wed}^2({x\text{x}x}_i,{x\text{x}x}_j)& =||{x\text{x}x}_i-{x\text{x}x}_j|{|}_2^2=w_1\cdot dis{t}_{ij,1}^2+w_2\cdot dis{t}_{ij,2}^2+\cdots +w_d\cdot dis{t}_{ij,d}^2\\ & =({x\text{x}x}_i-{x\text{x}x}_j{)}^{T}W\text{W}W({x\text{x}x}_i-{x\text{x}x}_j)\end{array}$$
其中$w_i\ge 0,W\text{W}W=\mathrm{diag}(w\text{w}w)$是一个对角矩阵，$(W\text{W}W{)}_{ii}=w_i$
上式中的$W\text{W}W$可通过学习确定，但还能再往前一步：$W\text{W}W$的非对角元素均为零，这意味着坐标轴正交的，即属性之间无关；但现实问题中往往不是这样，为此，将上式中的$W\text{W}W$替换为一个普通的半正定对称矩阵$M\text{M}M$，于是就得到了马氏距离（Mahalanobis distance）
$$dis{t}_{mah}^2({x\text{x}x}_i,{x\text{x}x}_j)=({x\text{x}x}_i-{x\text{x}x}_j{)}^{T}M\text{M}M({x\text{x}x}_i-{x\text{x}x}_j)=||{x\text{x}x}_i-{x\text{x}x}_j|{|}_M^2$$
其中的$M\text{M}M$亦称“度量矩阵”，而度量学习则是对$M\text{M}M$进行学习。注意到为了保持距离非负且对称，$M\text{M}M$必须是（半）正定对称矩阵，即必有正交基$P\text{P}P$使得$M\text{M}M$能重写为$M\text{M}M=P\text{P}P{P\text{P}P}^T$
对$M\text{M}M$进行学习当然要设置一个目标。假定我们是希望提高近邻分类器的性能，则可将$M\text{M}M$直接嵌入到近邻分类器的评价指标中去，通过优化该性能指标相应地求得$M\text{M}M$。下面以近邻成分分析（Neighborhood Component Analysis，简称NCA） 为例进行讨论
近邻分类器在进行判别时通常使用多数投票法，邻域中的每个样本投1票，领域外的样本投0票。不妨将其替换为概率投票法。对于任意样本${x\text{x}x}_j$，它对${x\text{x}x}_i$分类结果影响的概率为
$$p_{ij}=\frac{\exp (-||{x\text{x}x}_i-{x\text{x}x}_j|{|}_M^2)}{{\sum }_l\exp (-||{x\text{x}x}_i-{x\text{x}x}_l|{|}_M^2)}$$
当$i=j$时，$p_{ij}$最大。显然，${x\text{x}x}_j$对${x\text{x}x}_i$的影响随着它们之间距离的增大而减小。若以留一法（LOO）正确率的最大化为目标，则可计算${x\text{x}x}_i$的留一法正确率，即它被自身之外的所有样本正确分类的概率为
$$p_i=\sum _{j\in {\Omega }_i}{p}_{ij}$$
其中${\Omega }_i$表示与${x\text{x}x}_i$属于相同类别的样本的下标集合。于是，整个样本集上的留一法的正确率为
$$\sum _{i=1}^m{p}_i=\sum _{i=1}^m\sum _{j\in {\Omega }_i}{p}_{ij}$$
再考虑到$M\text{M}M=P\text{P}P{P\text{P}P}^T$，则NCA的优化目标为
$$\underset{P}{\min }1-\sum _{i=1}^m\sum _{j\in {\Omega }_i}\frac{\exp (-||{P\text{P}P}^T{x\text{x}x}_i-{P\text{P}P}^T{x\text{x}x}_j|{|}_2^2)}{{\sum }_l\exp (-||{P\text{P}P}^T{x\text{x}x}_i-{P\text{P}P}^T{x\text{x}x}_l|{|}_2^2)}$$
求解上式即可得到最大化近邻分类器LOO正确率的度量矩阵$M\text{M}M$
实际上，不仅能把错误率这样的监督学习目的作为度量学习优化的目标，还能在度量学习中引入领域知识。例如，若已知某些样本相似、某些样本不相似，则可定义“必连”（must-link）约束集合$\mathcal{M}$与“勿连”（cannot-link）约束集合$\mathcal{C}$，$({x\text{x}x}_i,{x\text{x}x}_j)\in \mathcal{M}$表示两者相似，$({x\text{x}x}_i,{x\text{x}x}_j)\in \mathcal{C}$表示两者不相似。显然我们希望相似的样本之间距离较小，不相似的样本之间距离较大，于是可通过求解下面这个凸优化问题获得适当的度量矩阵
$$\begin{gathered} \begin{array}{rl}& \underset{M}{\min }\sum _{(x_i,x_j)\in \mathcal{M}}||{x\text{x}x}_i-{x\text{x}x}_j|{|}_M^2\\ & s.t.\sum _{(x_i,x_{k}kin\mathcal{C}}||{x\text{x}x}_i-{x\text{x}x}_k|{|}_M^2\ge 1,\end{array} \\ M\text{M}M⪰0, \end{gathered}$$
其中约束$M\text{M}M⪰0$表明$M\text{M}M$必须是半正定的
不同的度量学习方法针对不同目标获得“好”的半正定对称距离度量矩阵$M\text{M}M$，若$M\text{M}M$是一个低秩矩阵，则通过对$M\text{M}M$进行特征值分解，总能找到一组正交基，其正交基数目为矩阵$M\text{M}M$的秩$\mathrm{rank}(M\text{M}M)$，小于原属性数d。于是，度量学习学得的结果可衍生出一个降维矩阵$P\text{P}P\in {\mathbb{R}}^{d\times \mathrm{rank}(M)}$，能用于降维之目的

总结

二刷精简