第10章（1至3节） 降维

k近邻学习

k近邻（简称kNN）学习是一种常用的监督学习方法，其工作机制是给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个“邻居”的信息来进行预测。
图10.1给出了k近邻分类器的一个示意图。显然，k是一个重要参数，当k取不同值时，分类结果会有显著不同。另一方面，若采用不同的距离计算方式，则找出的“近邻”可能有显著差别，从而也会导致分类结果有显著不同。

低维嵌入

事实上，在高维情形下出现的数据样本稀疏，距离计算困难等问题，是所有机器学习方法共同面临的严重障碍，被称为“维数灾难”。
缓解维数灾难的一个重要途径是降维，亦成“维数约简”，即通过某种数学变换将原始高维属性空间转变为一个低维“子空间”，在这个子空间中样本密度大幅提高，距离计算也变得更为容易。

多维缩放（MDS）

这个算法用于，要求原始空间中样本之间的距离在低维空间中得以保持，即得到
“多维缩放”。

算法描述：

主成分分析

这也是一种最常用的降维方法。

算法描述：