阅读笔记：《机器学习》西瓜书（10）——降维与度量学习

降维是一种常用的数据预处理方法。由于降维事实上是高维空间在低维空间上的投影，一般情况下可以使用线性映射做到这一点。而线性映射又可以用矩阵进行表示，本章也出现了大量的线性代数相关的概念和公式，包括特征值、特征向量、对角化、正交变换、迹等等。理解这些概念的定义和实际意义对本章的学习有很大的好处。这里推荐学习 李宏毅老师线性代数课程的相关章节。

k近邻学习（kNN）

k近邻学习（简称kNN）是一种常用的监督学习方法。这种方法在给定测试样本后，利用某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个“邻居”的信息来进行预测；针对分类问题采用“投票法”，回归问题采用“平均法”。
kNN这种方法并没有显式的训练过程。这种学习方法被称为懒惰学习，反之则称为急切学习。
对于1NN（k=1）的情况，假设测试样本为$\mathbf{x}$，其最邻近样本为$\mathbf{z}$，则分类器出错的概率为：
$$P(err)=1-\sum _{c\in \mathcal{Y}}P(c\mid \mathbf{x})P(c\mid \mathbf{z})$$
假设样本独立同分布，且对任意$\mathbf{x}$总能在附近任意近的范围内找到训练样本$\mathbf{z}$（样本采样密集）。则有：

其中$c^{\ast }$是贝叶斯最优分类器的结果。可以看到，最近邻分类器虽简单，但它的泛化错误率不超过贝叶斯最优分类器的错误率的两倍。

低维嵌入

在前面的讨论中有一个重要假设；训练样本的采样密度足够大，这样上述推导中的约等于号才能够成立。然而，在属性维数较高，样本空间巨大的情况下，现实任务的采样很难满足密采样的条件。此外，许多学习方法都涉及距离计算，而高维空间会给距离计算带来很大的麻烦。这种在属性维度较高情况下出现的数据样本稀疏、距离计算困难等问题，是所有机器学习方法共同面临的严重障碍， 被称为维数灾难。解决这个问题的一个重要途径便是降维。
为什么能进行降维？在很多时候，观测或收集到的数据样本虽是高维的，但与学习任务密切相关的也许仅是某个低维分布，即高维空间中的一个低维嵌入。
一般来说，欲获得低维子空间，最简单的是对原始高维空间进行线性变换。给定$d$维空间中的样本$\mathbf{X}=({\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_{\mathbf{m}})\in {\mathbb{R}}^{d\times m}$，通过降维得到$d^{\prime }\le d$维空间中的样本$\mathbf{Z}=({\mathbf{z}}_1,{\mathbf{z}}_2,\dots ,{\mathbf{z}}_{\mathbf{m}})\in {\mathbb{R}}^{d^{\prime }\times m}$，有：
$$\mathbf{Z}={\mathbf{W}}^{\mathbf{T}}\mathbf{X}$$
其中$\mathbf{W}\in {\mathbb{R}}^{d\times d^{\prime }}$是变换矩阵，可视为$d^{\prime }$个$d$维基向量，${\mathbf{z}}_{\mathbf{i}}={\mathbf{W}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}$是第$i$个样本在$d^{\prime }$维空间上的投影。

MDS算法

MDS（Multiple Dimensional Scaling）算法要求原始空间中样本之间的距离在低维空间中得以保持。即：
$$\Vert {\mathbf{z}}_{\mathbf{i}}-{\mathbf{z}}_{\mathbf{j}}\Vert =\Vert {\mathbf{x}}_{\mathbf{i}}-{\mathbf{x}}_{\mathbf{j}}\Vert ={dist}_{ij}$$
令$\mathbf{B}={\mathbf{Z}}^{\mathbf{T}}\mathbf{Z}\in {\mathbb{R}}^{m\times m}$，其中$b_{ij}={\mathbf{z}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{z}}_{\mathbf{j}}$，经推导可得（这点看书吧阿巴阿巴）：
$$b_{ij}=-\frac{1}{2}({dist}_{ij}^2-{dist}_{i\cdot }^2-{dist}_{\cdot j}^2+{dist}_{\cdot \cdot }^2)$$
矩阵$\mathbf{B}$为对称矩阵，且为正定矩阵，可做对角化得到$\mathbf{B}=\mathbf{V}\mathbf{\Lambda }{\mathbf{V}}^{\mathbf{T}}$，其中$\mathbf{\Lambda }=\text{diag}({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_d)$，${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_d\ge 0$。假定降维至$d^{\prime }$维空间，则将对应的对角矩阵改写为$\tilde{\mathbf{\Lambda }}=\text{diag}({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_{d’})$，$\tilde{\mathbf{V}}$为对应的特征向量矩阵，则：
$$\mathbf{Z}={\tilde{\mathbf{\Lambda }}}^{\frac{1}{2}}{\tilde{\mathbf{V}}}^T$$
以下是MDS算法的流程：

主成分分析（PCA）

主成分分析（PCA）是最常用的一种降维方法，它希望找到一个这样的超平面对正交属性空间中的样本点进行表达：

1. 最近重构性：样本点到这个超平面的距离都足够近（样本向量在投影后要尽可能与原向量相似）。
2. 最大可分性：样本点在这个超平面上的投影能尽可能分开。

基于最近重构性和最大可分性能分别得到主成分分析的两种等价推导。（推导过程等看懂了来补哈）
PCA算法要求解：
$$\mathbf{X}{\mathbf{X}}^{\mathbf{T}}\mathbf{W}=\lambda \mathbf{W}$$
算法流程如下：

（这里X进行了中性化，以保证协方差矩阵的表达形式）

核化线性降维

线性阵维方法假设从高维空间到低维空间的函数映射是线性的，然而，在不少现实任务中，可能需要非线性映射才能找到恰当的低维嵌入，这就需要使用到核函数对线性降维方法进行核化。

KPCA

PCA本来将样本集$\mathbf{X}$投影到$\mathbf{W}$确定的超平面上：
$$\mathbf{X}{\mathbf{X}}^{\mathbf{T}}\mathbf{W}=\lambda \mathbf{W}$$
KPCA先将$\mathbf{X}$转换为$\mathbf{Z}$从而将样本映射至高维特征空间，即令${\mathbf{z}}_{\mathbf{i}}=\varphi ({\mathbf{x}}_{\mathbf{i}})$。然而一般情况下，$\varphi$的具体形式是无法求得显式表达的，于是引入核函数：
$$\kappa ({\mathbf{x}}_{\mathbf{i}}{\mathbf{x}}_{\mathbf{j}})={\varphi ({\mathbf{x}}_{\mathbf{i}})}^T\varphi ({\mathbf{x}}_{\mathbf{j}})$$
（核函数相当于在计算两个事件的相似度）
而$\mathbf{X}$转为$\mathbf{Z}$后，PCA应求解：
$$\mathbf{Z}{\mathbf{Z}}^{\mathbf{T}}\mathbf{W}=\lambda \mathbf{W}$$
也即：
$$(\sum _{i=1}^m\varphi ({\mathbf{x}}_{\mathbf{i}}){\varphi ({\mathbf{x}}_{\mathbf{j}})}^T)\mathbf{W}=\lambda \mathbf{W}$$
则：

也即：
$$\mathbf{W}=\sum _{i=1}^m\varphi ({\mathbf{x}}_{\mathbf{i}}){\mathbf{\alpha }}_{\mathbf{i}}$$
所以：
$$\begin{gathered} \mathbf{Z}{\mathbf{Z}}^{\mathbf{T}}\mathbf{W}=\mathbf{Z}{\mathbf{Z}}^{\mathbf{T}}\mathbf{Z}\mathbf{A} \\ \lambda \mathbf{W}=\lambda \mathbf{Z}\mathbf{A}=\mathbf{Z}\lambda \mathbf{A} \end{gathered}$$
而
$$\mathbf{Z}{\mathbf{Z}}^{\mathbf{T}}\mathbf{W}=\lambda \mathbf{W}$$
因此：
$${\mathbf{Z}}^{\mathbf{T}}\mathbf{Z}\mathbf{A}=\lambda \mathbf{A}$$
也即：
$$\mathbf{K}\mathbf{A}=\lambda \mathbf{A}{(\mathbf{K})}_{ij}=\kappa ({\mathbf{x}}_{\mathbf{i}}{\mathbf{x}}_{\mathbf{j}})$$
对于新样本$\mathbf{x}$，投影后的坐标为：
$$\mathbf{z}={\mathbf{w}}^{\mathbf{T}}\varphi (\mathbf{x})=\sum _{i=1}^m{\mathbf{\alpha }}_{\mathbf{i}}{\varphi ({\mathbf{x}}_{\mathbf{i}})}^T\varphi (\mathbf{x})=\sum _{i=1}^m{\mathbf{\alpha }}_{\mathbf{i}}\kappa ({\mathbf{x}}_{\mathbf{i}}\mathbf{x})$$
此式表明，为获得投影后的坐标， KPCA 需对所有样本求和，因此它的计算开销较大。

流形学习

流形学习是一类借鉴了拓扑流形概念的降维方法。它认为分布在高维空间的数据在局部具有欧氏空间的性质（“流形”是在局部与欧氏空间同胚的空间），能用欧氏距离来进行距离计算。因此，可以容易地在局部建立阵维映射关系，然后再设法将局部映射关系推广到全局。

等度量映射（Isomap）

这种方法认为低维流形嵌入到高维空间之后，直接在高维空间中计算直线距离具有误导性，因为高维空间巾的直线距离在低维嵌入流形上是不可达的（类似于从上海到纽约，三维空间最近的距离是穿过地心，但这是不可能的）。为了正确的度量低维流形上的距离，可利用流形在局部上与欧氏空间同胚这个性质，对每个点基于欧氏距离找出其近邻点，建立一个近邻连接图，并寻找最短路路径（由于同胚性质只在局部成立，因此一点的近邻连接图的建立应忽略其非近邻点）。在得到低维流形任意两点的距离后，可以使用如MDS方法来进行降维。
Isomap算法流程如下：

需注意的是， Isomap 仅是得到了训练样本在低维空间的坐标，对于新样本的降维，需要将训练样本的高维空间坐标作为输入、低维空间坐标作为输出，训练一个回归学习器来对新样本的低维空间坐标进行预测。（线性变换则可用正交投影，但一般高维投影到低维流形为非线性变换，因此一般使用回归器）

局部线性嵌入（LLE）

局部线性嵌入试图保持领域内样本之间的线性关系。
（证明过程很懵，挖坑挖坑，救命。。。）
ps：贴一个博客讲的不错。

度量学习

在机器学习中，对高维数据进行降维的主要目的是希望找一个合适的低维空间，在此空间中进行学习能比原始空间性能更好。事实上，每个空间对应了在样本属性上定义的一个距离度量，而寻找合适的空间，实质上就是在寻找一个合适的距离度量。度量学习尝试通过学习来找到这样一个合适的距离度量。
将不同样本间的距离定义为：

其中${dist}_{ij,k}$表示${\mathbf{x}}_{\mathbf{i}}$与${\mathbf{x}}_{\mathbf{j}}$在第$k$维上的距离。这里$\mathbf{W}$是对角矩阵，这意味着坐标轴是正交的，各属性之间相互独立，但事实上他们往往是相关的。因此将$\mathbf{W}$替换为半正定矩阵$\mathbf{M}=\mathbf{P}{\mathbf{P}}^{\mathbf{T}}$（距离非负，则二次型非负，M为半正定矩阵，可作特征值分解且特征值大于等于0，P为正交基构成的矩阵），得到马氏距离：
$${dist}_{mah}^2({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})={({\mathbf{x}}_{\mathbf{i}}-{\mathbf{x}}_{\mathbf{j}})}^T\mathbf{M}({\mathbf{x}}_{\mathbf{i}}-{\mathbf{x}}_{\mathbf{j}})={\Vert {\mathbf{x}}_{\mathbf{i}}-{\mathbf{x}}_{\mathbf{j}}\Vert }_M^2={({\mathbf{x}}_{\mathbf{i}}-{\mathbf{x}}_{\mathbf{j}})}^T\mathbf{P}{\mathbf{P}}^{\mathbf{T}}({\mathbf{x}}_{\mathbf{i}}-{\mathbf{x}}_{\mathbf{j}})={\Vert {\mathbf{P}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}-{\mathbf{P}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{j}}\Vert }_M^2$$
其中$\mathbf{M}$也称为度量矩阵，度量学习便是对$\mathbf{M}$进行学习。相当于通过${\mathbf{P}}^{\mathbf{T}}$进行变换将$\mathbf{X}$降维。
度量学习一个典型的例子是近邻成分分析（NCA）。

参考资料

李宏毅线性代数课程
局部线性嵌入
近邻成分分析