降维与度量空间

1.k近邻学习

给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个邻居的信息来进行预测。通常在分类任务中可以使用“投票法”，即选择这k个样本中出现最多的类别作为预测结果；在回归任务中使用“平均法”，即将这k个样本的实值输出标记的平均值作为预测结果；还可以基于距离远近进行加权平均或加权投票，距离越近的样本权重越大。

2.低维嵌入

在高维情形下会出现数据样本呢稀疏、距离计算困难等问题，称为“维数灾难。

缓解维数灾难的一个重要途径时降维，即通过某种数学变换将原始高维属性空间转变为一个低维“子空间”，在这个子空间样本密度大幅度提高，距离计算也变得更为容易。

3.主成分分析

主成分分析是最常用的一种降维方法。

4.核化线性降维

非线性降维的一种常用方法，是基于核化技巧对线性降维方法进行“核化”。

5.流形学习

流形学习是一类借鉴了拓扑流形概念的降维方法。

6.度量学习

对高维数据进行降维是为了找到一个合适的低维空间，在这个空间中进行学习能比原始空间性能更好。事实上，每个空间对应了在样本呢属性上定义的一个距离度量，而寻找合适的空间，实质上就是寻找一个合适的距离度量，度量学习的动机就是“学习”出一个合适的距离度量。