引言
在现实世界中,大部分数据是冗余的,以多个低维空间联合分布的形式存在。例如,我们每个人在不同的光和移动模式下的面部图像存在于大约9个子空间维中。手写数字集合MNIST中的单个数字近似存在于一个简单的子空间中,但在三维空间中表示。同时,当今的传感器以及各类移动终端不断地获取数据,数据量和维数都非常大,如何从高维数据中提取和分析数据就显得非常重要。
凡是都具有两面,数据维度高(大量特征)既是优点——数据量越大,特征越多,分析的结果按道理越可信;但是也是缺点——造成“维度灾难”,可能无从下手,同时计算处理时耗费的资源太大。因此需要一种很好的方法来处理高维度数据,在减少维度特征同时,避免丢失太多信息。
下面将从几个方面概述降维:
降维
在机器学习领域中所谓的降维就是指——采用某种映射方法,将原高维空间中的数据点映射到低维度的空间中。本质是采用一个映射函数 f : X → Y f:X\rightarrow Y f:X→Y,其中 X ∈ R n × d X \in R^{n \times d} X∈Rn×d为原始的 n n