[Machine Learning] 降维(Dimensionality Reduction)

在这里插入图片描述

12 Dimensionality Reduction(降维)

12.1 Motivation I_ Data Compression

第二种无监督学习问题,称为降维。使用降维可以实现数据压缩,数据压缩不仅可以压缩数据,因而使用较少的计算机内存或磁盘空间,但它也加快了学习算法。

那么,什么是降维?举一个例子,有一个数据集,其含有许多特征。
在这里插入图片描述
假设有两个未知的特征:𝑥1:长度:用厘米表示;𝑥2:是用英寸表示同一物体的长度。所以,这给了我们高度冗余表示,也许这两个特征𝑥1和𝑥2,能减少数据到一维。

将数据从二维降至一维: 假使要采用两种不同的仪器来测量一些东西的尺寸,其中一个仪器测量结果的单位是英寸,另一个仪器测量的结果是厘米,我们希望将测量的结果作为我们机器学习的特征。现在的问题的是,两种仪器对同一个东西测量的结果不完全相等(由于误差、精度等),而将两者都作为特征有些重复,因而,我们希望将这个二维的数据降至一维。
在这里插入图片描述
将数据从三维降至二维: 这个例子中我们要将一个三维的特征向量降至一个二维的特征向量。过程是与上面类似的,将三维向量投射到一个二维的平面上,强迫使得所有的数据都在同一个平面上,降至二维的特征向量。
在这里插入图片描述
这样的处理过程可以被用于把任何维度的数据降到任何想要的维度,例如将 1000 维的特征降至 100 维。

12.2 Motivation II_ Visualization

在许多机器学习问题中,如果能将数据可视化,便能寻找到一个更好的解决方案,其中降维就有助于实现这一目的。
在这里插入图片描述
例如,一个数据集包含有许多不同国家的数据,每一个特征向量都有 50 个特征(如 GDP,人均 GDP,平均寿命等)。如果要将这个 50 维的数据可视化是不可能的。使用降维的方法将其降至 2 维,便可以将其可视化了。
在这里插入图片描述
这样做的问题在于,降维的算法只负责减少维数,新产生的特征的意义就必须由我们自己去发现了。

12.3 Principal Component Analysis Problem Formulation

主成分分析(PCA)是最常见的降维算法。

在 PCA 中,要做的是找到一个方向向量(Vector direction),当把所有的数据都投射到该向量上时,希望投射平均均方误差能尽可能地小。方向向量是一个经过原点的向量,而投射误差是从特征向量向该方向向量作垂线的长度。
在这里插入图片描述
主成分分析问题的描述:问题是要将𝑛维数据降至𝑘维,目标是找到向量𝑢(1),𝑢(2),…,𝑢(𝑘)使得总的投射误差最小。

主成分分析与线性回归的比较
主成分分析与线性回归是两种不同的算法。主成分分析最小化的是投射误差(Projected Error),而线性回归尝试的是最小化预测误差。线性回归的目的是预测结果,而主成分分析不作任何预测。
在这里插入图片描述
上图中,左边的是线性回归的误差(垂直于横轴投影),右边则是主要成分分析的误差(垂直于红线投影)。

PCA 将𝑛个特征降维到𝑘个,可以用来进行数据压缩,如果 100 维的向量最后可以用 10 维来表示,那么压缩率为 90%。同样图像处理领域的 KL 变换使用 PCA 做图像压缩。但 PCA 要保证降维后,还要保证数据的特性损失最小。

PCA 技术的一大好处是对数据进行降维的处理。可以对新求出的“主元”向量的重要性进行排序,根据需要取前面最重要的部分,将后面的维数省去,可以达到降维从而简化模型或是对数据进行压缩的效果。同时最大程度的保持了原有数据的信息。

PCA 技术的一个很大的优点是,它是完全无参数限制的。在 PCA 的计算过程中完全不需要人为的设定参数或是根据任何经验模型对计算进行干预,最后的结果只与数据相关,与用户是独立的。但是,这一点同时也可以看作是缺点。如果用户对观测对象有一定的先验知识,掌握了数据的一些特征,却无法通过参数化等方法对处理过程进行干预,可能会得不到预期的效果,效率也不高。

12.4 Principal Component Analysis Algorithm

在这里插入图片描述
PCA 减少𝑛维到𝑘维:
第一步是均值归一化。需要计算出所有特征的均值,然后令 𝑥𝑗 = 𝑥𝑗 − 𝜇𝑗。如果特征是在不同的数量级上,还需要将其除以标准差 𝜎2
第二步是计算协方差矩阵(covariance matrix)𝛴: 在这里插入图片描述

第三步是计算协方差矩阵𝛴的特征向量(eigenvectors):
在 Octave 里我们可以利用奇异值分解(singular value decomposition)来求解,[U, S,V]= svd(sigma)。

在这里插入图片描述
对于一个 𝑛 × 𝑛维度的矩阵,上式中的𝑈是一个具有与数据之间最小投射误差的方向向量构成的矩阵。如果我们希望将数据从𝑛维降至𝑘维,只需要从𝑈中选取前𝑘个向量,获得一个𝑛 × 𝑘维度的矩阵,我们用𝑈𝑟𝑒𝑑𝑢𝑐𝑒表示,然后通过如下计算获得要求的新特征向量𝑧(𝑖):在这里插入图片描述
其中𝑥是𝑛 × 1维的,因此结果为𝑘 × 1维度。注,不对方差特征进行处理。

12.5 Choosing The Number Of Principal Components

主要成分分析是减少投射的平均均方误差。

训练集的方差为:在这里插入图片描述
我们希望在平均均方误差与训练集方差的比例尽可能小的情况下选择尽可能小的𝑘值。如果我们希望这个比例小于 1%,就意味着原本数据的偏差有 99%都保留下来了,如果我们选择保留 95%的偏差,便能非常显著地降低模型中特征的维度了。
在这里插入图片描述
我们可以先令𝑘 = 1,然后进行主要成分分析,获得𝑈𝑟𝑒𝑑𝑢𝑐𝑒和𝑧,然后计算比例是否小于1%。如果不是的话再令𝑘 = 2,如此类推,直到找到可以使得比例小于 1%的最小𝑘 值(原因是各个特征之间通常情况存在某种相关性)。

还有一些更好的方式来选择𝑘,当我们在 Octave 中调用“svd”函数的时候,我们获得三个参数:[U, S, V] = svd(sigma)。
在这里插入图片描述
其中的𝑆是一个𝑛 × 𝑛的矩阵,只有对角线上有值,而其它单元都是 0,我们可以使用这个矩阵来计算平均均方误差与训练集方差的比例:
在这里插入图片描述
也就是:在这里插入图片描述
在压缩过数据后,我们可以采用如下方法来近似地获得原有的特征:
在这里插入图片描述

12.6 Reconstruction from Compressed Representation

PCA 作为压缩算法,可能把 1000 维的数据压缩 100 维特征,或具有三维数据压缩到一二维表示。所以,如果这是一个压缩算法,那么如何回到原有的高维数据的表示?
在这里插入图片描述
如图中样本𝑥(1),𝑥(2),这些样本在图中这个二维平面上,然后只使用一个实数,比如𝑧(1),指定这些点的位置后他们被投射到这一个一维曲线上。那么,给定一个点𝑧(1),如何能把这些点还原为原始的二维空间呢?𝑥为 2 维,z 为 1 维,𝑧 = 𝑈𝑟𝑒𝑑𝑢𝑐𝑒𝑇 𝑥,相反的方程为:
𝑥𝑎𝑝𝑝𝑜𝑥 = 𝑈𝑟𝑒𝑑𝑢𝑐𝑒 ⋅ 𝑧,𝑥𝑎𝑝𝑝𝑜𝑥 ≈ 𝑥。
所以,这就是从低维表示𝑧回到未压缩的表示,得到了数据之前的原始数据 𝑥,也把这个过程称为重建原始数据。

12.7 Advice for Applying PCA

假使正在针对一张 100×100 像素的图片进行某个计算机视觉的机器学习,即总共有 10000 个特征。

  1. 第一步是运用主要成分分析将数据压缩至 1000 个特征
  2. 然后对训练集运行学习算法。
  3. 在预测时,采用之前学习而来的𝑈𝑟𝑒𝑑𝑢𝑐𝑒将输入的特征𝑥转换成特征向量𝑧,然后再进行预测

注:如果我们有交叉验证集合测试集,也采用对训练集学习而来的𝑈𝑟𝑒𝑑𝑢𝑐𝑒。

错误的主要成分分析情况:一个常见错误使用主要成分分析的情况是,将其用于减少过拟合(减少了特征的数量)。这样做非常不好,不如尝试正则化处理。原因在于主要成分分析只是近似地丢弃掉一些特征,它并不考虑任何与结果变量有关的信息,因此可能会丢失非常重要的特征。然而当我们进行正则化处理时,会考虑到结果变量,不会丢掉重要的数据。

另一个常见的错误是,默认地将主要成分分析作为学习过程中的一部分,这虽然很多时候有效果,但最好还是从所有原始特征开始,只在有必要的时候(算法运行太慢或者占用太多内存)才考虑采用主要成分分析。

©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页