【机器学习西瓜书学习笔记——降维与度量学习】

第十章 降维与度量学习

10.1 近邻学习

10.2 低维嵌入

引入原因：近邻分类器成立的重要假设是密采样，即训练样本的采样密度足够大。而现实应用中，无法满足密采样条件所需的样本数目。

作用：将高维数据映射到一个更低维的子空间中——降维——缓解维数灾难。

MDS算法——欧式距离

d维空间样本$X=(x_1,x_2,\dots ,x_m)$，线性变换：$Z=W^{T}X$

基于线性变换来进行降维的方法称为线性降维方法，符合$Z=W^{T}X$的基本形式，不同之处是对低维子空间的性质由不同要求，相当于对$W$施加了不同约束.

10.3主成分分析

对于正交属性空间中的样本点，用一个超平面（直线的高维推广）对所有样本进行恰当的表达。

若存在这样的超平面，应具有这样的性质：

• 最近重构性：样本点到这个超平面的距离都足够近

• 最大可分性：样本点在这个超平面上的投影能尽可能分开

目标：提取最有价值的信息（基于方差）

PCA算法——类比正交变换

中心思想：两个矩阵相乘的意义是将右边矩阵中的每一列列向量变换到左边向量矩阵中每一行行向量为基所表示的空间中去。

如何找基：方差和协方差

优化目标：将一组N维向量降为K维（K大于0，小于N），目标是选择K个单位正交基。使原始数据变换到这组基上后，各字段两两协方差为0，字段的方差尽可能大——对角线最大化（可按照从大到小排列），非对角线上的元素等于0。。

作用：可以用来降噪、消除冗余信息等（降维算法）

10.4核化线性降维

线性降维方法假设从高维空间到低维空间的函数映射是线性的，非线性降维的一种常用方法是基于核技巧对线性降维方法进行**“核化”**。

$KPCA$（核主成分分析）：$({\sum }_{i=1}^m\varphi (x_i)\varphi (x_i{)}^T)W=\lambda W$

引入核函数，得$KA=\lambda A$，其中K为核矩阵

10.5 流形学习

流形的作用

• 数据降维的方式——欧氏距离
• 刻画数据的本质

流形学习的应用：非线性降维（考虑的因素：距离+生成数据的拓扑结构）

等度量映射——测地距离

降维的两类方法：

• 特征选择：根据一定的标准学则显著特征
• 特征提取：通过对所有特征进行变换来获取精简的特征集

对于降维方法中，经典的线性方法（例如主成分分析，$PCA$）存在一些不足，即无法发现螺旋的一维结构。Isomap就是处理此类问题的一种经典的非线性学习方法。

等度量映射：从高维数据中找到任意两个样本点之间的**“测地距离”**，通过映射实现在低维空间中“测地距离”近似保持不变。

如何计算测地距离？

• 利用流形在局部上与欧氏空间同胚这个性质，对每个点基于欧氏距离找出近邻点，然后建立一个近邻图
• 计算两点之间测地距离的问题就变成了计算近邻图上两点之间的最短路径问题
• 计算最短路径可以使用$Dijkstra$算法或$Floyd$算法。得到任意两点的距离之后就可以通过$MDS$算法来获得样本点在低维空间中的坐标

局部线性嵌入（LLE）

算法思想：$LLE$算法希望在降维后的低维空间中依然能保持高维空间中的线性关系。

步骤

• 第一步是求$K$近邻的过程，这个过程使用了和$KNN$算法一样的求最近邻的方法。

• 第二步，就是对每个样本求它在邻域里的$K$个近邻的线性关系，得到线性关系权重系数$W$。

• 第三步就是利用权重系数来在低维里重构样本数据.

优缺点

优点

• 可以学习任意维的局部线性的低维流形

• 算法归结为稀疏矩阵特征分解，计算复杂度相对较小，实现容易。

缺点

• 算法所学习的流形只能是不闭合的，且样本集是稠密均匀的。

• 算法对最近邻样本数的选择敏感，不同的最近邻数对最后的降维结果有很大影响。

10.6 度量学习

度量：一个定义集合中元素之间距离的函数

度量空间：一个具有度量的集合被称为度量空间。

度量学习==相似度学习（模式识别）

作用：判断两个区间的相似性（通常用到的度量方式就是采用常用到的欧式或者其他人为定义的距离函数）

度量学习的方法

通过线性变换的度量学习

线性的度量学习问题也成为马氏度量学习问题，可以分为监督的和非监督的学习算法。

监督的马氏度量学习问题

监督的全局度量学习：该类型的算法充分利用数据的标签信息。

监督的局部度量学习：该类型的算法同时考虑数据的标签信息和数据点之间的几何关系。

非监督的马氏度量学习

• 主成分分析(PCA)
• 多维尺度变换(MDS)
• 非负矩阵分解(NMF)
• 独立成分分析( ICA)
• 邻域保持嵌入(NPE)
• 局部保留投影(LPP)

度量学习的非线性模型

经典的算法有等距映射(ISOMAP) 、局部线性嵌入(LLE) ，以及拉普拉斯特征映射(LE ) 等。

应用

计算机视觉的图像检索和分类、人脸识别、人类活动识别和姿势估计，文本分析和一些其他领域如音乐分析，自动化的项目调试，微阵列数据分析等。