PCA降维算法

最新推荐文章于 2024-06-18 15:08:39 发布

奔跑的灰灰

最新推荐文章于 2024-06-18 15:08:39 发布

阅读量2.9k

点赞数 3

文章标签：算法机器学习人工智能

本文链接：https://blog.csdn.net/qq_53086801/article/details/126900701

版权

1.维度

1.1数据维度

对于数组和Series来说，维度就是功能shape返回的结果，shape中返回了几个数字，就是几维。
索引以外的数据，不分行列的叫一维（此时shape返回唯一的维度上的数据个数），有行列之分叫二维（shape返回行x列），也称为表。一张表最多二维，复数的表构成了更高的维度。当一个数组中存在2张3行4列的表时，shape返回的是(更高维，行，列)。当数组中存在2组2张3行4列的表时，数据就是4维，shape返回(2,2,3,4)。
在这里插入图片描述

1.2特征维度

数组中的每一张表，都可以是一个特征矩阵或一个DataFrame，这些结构永远只有一张表，所以一定有行列，其中行是样本，列是特征。针对每一张表，维度指的是样本的数量或特征的数量，一般无特别说明，指的都是特征的数量。除了索引之外，一个特征是一维，两个特征是二维，n个特征是n维。

降维算法中的”降维“，指的是降低特征矩阵中特征的数量。

降维的目的：
1.让算法运算更快，效果更好。
2.数据可视化。

2.sklearn中的降维算法

sklearn中降维算法都被包括在模块decomposition中，这个模块本质是一个矩阵分解模块。

2.1PCA与SVD

SVD和主成分分析PCA都属于矩阵分解算法中的入门算法，都是通过分解特征矩阵来进行降维。

降维会减少特征的数量，数据量变少则表示模型可以获取的信息会变少，模型的表现可能会因此受影响。在高维数据中，必然有一些特征是不带有有效的信息的（比如噪音），或者有一些特征带有的信息和其他一些特征是重复的（比如一些特征可能会线性相关）。

降维的方向： 即减少特征的数量，又保留大部分有效信息——将那些带有重复信息的特征合并，并删除那些带无效信息的特征等。逐渐创造出能够代表原特征矩阵大部分信息的，特征更少的，新特征矩阵。

PCA使用的信息量衡量指标，是样本方差，又称可解释性方差，方差越大，特征所带的信息量越多。
在这里插入图片描述
Var代表一个特征的方差，n代表样本量，xi代表一个特征中的每个样本取值，xhat代表这一列样本的均值。

2.2降维的实现

class sklearn.decomposition.PCA (n_components=None, copy=True, whiten=False, svd_solver=’auto’, tol=0.0,iterated_power=’auto’, random_state=None)

矩阵分解：找出n个新特征向量，让数据能够被压缩到少数特征上并且总信息量不损失太多的技术就是矩阵分解

降维步骤：
在这里插入图片描述
PCA使用方差作为信息量的衡量指标，通过特征值分解来找出空间V。
降维时，它会通过一系列数学的神秘操作（比如说，产生协方差矩阵 $\frac{1}{n}$ XX^T）将特征矩阵X分解为以下三个矩阵，其中Q和Q^-1是辅助的矩阵，Σ是一个对角矩阵（即除了对角线上有值，其他位置都是0的矩阵），其对角线上的元素就是方差。降维完成之后，PCA找到的每个新特征向量就叫做“主成分”，而被丢弃的特征向量被认为信息量很少，这些信息很可能就是噪音。

在这里插入图片描述

SVD使用奇异值分解来找出空间V，其中Σ也是一个对角矩阵，不过它对角线上的元素是奇异值，这也是SVD中用来衡量特征上的信息量的指标。U和V^T分别是左奇异矩阵和右奇异矩阵，也都是辅助矩阵。
在这里插入图片描述
PCA和特征选择的差异：

特征选择
从已存在的特征中选取携带信息最多的，选完之后的特征依然具有可解释性，我们依然知道这个特征在原数据的哪个位置，代表着原数据上的什么含义。
PCA
将已存在的特征进行压缩，降维完毕后的特征不是原本的特征矩阵中的任何一个特征，而是通过某些方式组合起来的新特征。通常来说，在新的特征矩阵生成之前，我们无法知晓PCA都建立了怎样的新特征向量，新特征矩阵生成之后也不具有可读性，我们无法判断新特征矩阵的特征是从原数据中的什么特征组合而来，新特征虽然带有原始数据的信息，却已经不是原数据上代表着的含义了。以PCA为代表的降维算法因此是特征创造（feature creation，或feature construction）的一种。

PCA一般不适用于探索特征和标签之间的关系的模型（如线性回归），因为无法解释的新特征和标签之间的关系不具有意义。在线性回归模型中，我们使用特征选择。

2.3重要参数n_components

n_components是降维后需要的维度，即降维后需要保留的特征数量，降维流程中第二步里需要确认的k值，一般输入[0, min(X.shape)]范围中的整数。（超参数）

k的取值会影响到模型的表现。
（1）留下的特征太多，就达不到降维的效果
（2）留下的特征太少，新特征向量可能无法容纳原始数据集中的大部分信息

例：高维数据的可视化
在这里插入图片描述

在这里插入图片描述

2.3.1最大似然估计自选超参数

pca_mle = PCA(n_components="mle")
pca_mle = pca_mle.fit(X)
X_mle = pca_mle.transform(X)
X_mle
#可以发现，mle为我们自动选择了3个特征
pca_mle.explained_variance_ratio_.sum()
#得到了比设定2个特征时更高的信息含量，对于鸢尾花这个很小的数据集来说，3个特征对应这么高的信息含量，并不需要去纠结于只保留2个特征，毕竟三个特征也可以可视化

在这里插入图片描述

2.3.2 按信息量占比选超参数

输入[0,1]之间的浮点数，并且让参数svd_solver ==‘full’，表示希望降维后的总解释性方差占比大于n_components指定的百分比，即是说，希望保留百分之多少的信息量。比如说，如果我们希望保留97%的信息量，就可以输入n_components = 0.97，PCA会自动选出能够让保留的信息量超过97%的特征数量。

在这里插入图片描述

3.PCA中的SVD

svd_solver是奇异值分解器的意思。SVD在矩阵分解中的过程比PCA简单快速
在这里插入图片描述

V(k,n)会被保存在属性components_ 当中,可以调用查看

PCA(2).fit(X).components_
PCA(2).fit(X).components_.shape

3.1重要参数svd_solver 与 random_state

参数svd_solver是在降维过程中，用来控制矩阵分解的一些细节的参数。有四种模式可选：“auto”, “full”, “arpack”,“randomized”，默认”auto

“auto”：基于X.shape和n_components的默认策略来选择分解器：如果输入数据的尺寸大于500x500且要提取的特征数小于数据最小维度min(X.shape)的80％，就启用效率更高的”randomized“方法。否则，精确完整的SVD将被计算，截断将会在矩阵被分解完成后有选择地发生
“full”：从scipy.linalg.svd中调用标准的LAPACK分解器来生成精确完整的SVD，适合数据量比较适中，计算时间充足的情况，生成的精确完整的SVD的结构为：
在这里插入图片描述

“arpack”：从scipy.sparse.linalg.svds调用ARPACK分解器来运行截断奇异值分解(SVD truncated)，分解时就将特征数量降到n_components中输入的数值k，可以加快运算速度，适合特征矩阵很大的时候，但一般用于特征矩阵为稀疏矩阵的情况，此过程包含一定的随机性。截断后的SVD分解出的结构为：
在这里插入图片描述
“randomized”，通过Halko等人的随机方法进行随机SVD。在"full"方法中，分解器会根据原始数据和输入的n_components值去计算和寻找符合需求的新特征向量，但是在"randomized"方法中，分解器会先生成多个随机向量，然后一一去检测这些随机向量中是否有任何一个符合我们的分解需求，如果符合，就保留这个随机向量，并基于这个随机向量来构建后续的向量空间。这个方法已经被Halko等人证明，比"full"模式下计算快
很多，并且还能够保证模型运行效果。适合特征矩阵巨大，计算量庞大的情况。

参数random_state在参数svd_solver的值为"arpack" or "randomized"的时候生效，可以控制这两种SVD模式中的随机模式。通常我们就选用”auto“，不必对这个参数纠结太多。

3.2重要属性components_

在这里插入图片描述
保存新特征空间V(k,n)

在新的特征矩阵生成之前，我们无法知晓PCA都建立了怎样的新特征向量，新特征矩阵生成之后也不具有可读性，我们无法判断新特征矩阵的特征是从原数据中的什么特征组合而来，新特征虽然带有原始数据的信息，却已经不是原数据上代表着的含义了。

矩阵分解时，PCA的目标：在原有特征的基础上，找出能够让信息尽量聚集的新特征向量。
在sklearn使用的PCA和SVD联合的降维方法中，这些新特征向量组成的新特征空间其实就是V(k,n)。

得到新特征空间V（k,n）的意义：
如果原特征矩阵是图像，V(k,n)这个空间矩阵也可以被可视化的话，就可以通过两张图来比较，就可以看出新特征空间究竟从原始数据里提取了什么重要的信息。

在这里插入图片描述

3.3重要接口inverse_transform

特征工程中接口inverse_transform，可以将我们归一化，标准化，甚至做过哑变量的特征矩阵还原回原始数据中的特征矩阵。

在sklearn中，我们通过让原特征矩阵X右乘新特征空间矩阵V(k,n)来生成新特征矩阵X_dr，那理论上来说，让新特征矩阵X_dr右乘V(k,n)的逆矩阵 V(k,n)^-1，就可以将新特征矩阵X_dr还原为X。

先调用一组人脸数据X(m,n)，对人脸图像进行绘制，然后对人脸数据进行降维得到X_dr，之后再使用inverse_transform(X_dr)返回一个X_inverse(m,n)，并对这个新矩阵中的人脸图像也进行绘制。如果PCA的降维过程是可逆的，X(m,n)和X_inverse(m,n)则会返回一模一样的图像，即携带一模一样的信息。

在这里插入图片描述

可以明显看出，这两组数据可视化后，由降维后再通过inverse_transform转换回原维度的数据画出的图像和原数据画的图像大致相似，但原数据的图像明显更加清晰。这说明，inverse_transform并没有实现数据的完全逆转。
这是因为，在降维的时候，部分信息已经被舍弃了，X_dr中往往不会包含原数据100%的信息，所以在逆转的时候，即便维度升高，原数据中已经被舍弃的信息也不可能再回来了。所以，降维不是完全可逆的。
Inverse_transform的功能，是基于X_dr中的数据进行升维，将数据重新映射到原数据所在的特征空间中，而并非恢复所有原有的数据。但同时，我们也可以看出，降维到300以后的数据，的确保留了原数据的大部分信息，所以图像看起来，才会和原数据高度相似，只是稍稍模糊罢了。

4.重要接口，参数和属性总结

重要参数参数： n_components，svd_solver，random_state，
重要属性： components_, explained_variance_以及explained_variance_ratio_，
接口： fit，transform，fit_transform，inverse_transform
在这里插入图片描述
属性explained_variance_： 查看降维后每个新特征向量上所带的信息量大小（可解释性方差的大小）
属性explained_variance_ratio： 查看降维后每个新特征向量所占的信息量占原始数据总信息量的百分比，又叫做可解释方差贡献率