【机器学习】PCA主成分分析降维算法

所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射

之所以使用降维后的数据表示是因为在原始的高维空间中，包含有冗余信息以及噪音信息，在实际应用中造成了误差，降低了准确率；而通过降维，我们希望减少冗余信息所造成的误差，提高准确率。又或者希望通过降维算法来寻找数据内部的本质结构特征。

在很多算法中降维算法成为了数据预处理的一部分，事实上，有一些算法如果没有降维预处理，其实是很难得到很好的效果的。

PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标轴。通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。

我们如何得到这些包含最大差异性的主成分方向呢？通过计算数据矩阵的协方差矩阵，然后得到协方差矩阵的特征值特征向量，选择特征值最大(即方差最大)的k个特征所对应的特征向量组成的矩阵。这样就可以将数据矩阵转换到新的空间当中，实现数据特征的降维。

协方差：

$Cov(x_1,x_2)=E[(x_1-E(x_1))(x_2-E(x_2))]=\frac{1}{n-1}{\sum }_{i=1}^n(x_{1i}-{\bar{x}}_1)(x_{2i}-{\bar{x}}_2)$

同时，散度矩阵就是协方差矩阵乘以n-1，因此它们的特征值和特征向量是一样的。这里值得注意的是，散度矩阵是SVD奇异值分解的一步，因此PCA和SVD是有很大联系。

看完了线性代数的本质后重新思考PCA，最终目的是寻找一组基向量，使在新基下能将现在的坐标变换成新的坐标，并且要满足所有新的坐标维数尽可能少、坐标之间计算出的方差要尽可能的大，因为可以合理地假设，呈现高方差的特征更有可能在类别之间进行良好的区分。

还有一个想法是：在降维后要尽可能多的保留原本的信息，而方差大的数据较为分散，能占据更大的张成空间，所保留信息也就更多

那么一组数据（假设包含$k$个样本） { x 1 , x 2 , ⋯   , x k } \{x_1,x_2,\cdots,x_k\} {x1​,x2​,⋯,xk​}的方差是如何计算的呢？

此时需要知道，样本的方差计算公式$S^2=\frac{1}{k-1}{\sum }_{i=1}^k(x_i-\bar{x}{)}^2$是针对一维特征的，针对同一特征的不同样本取值来进行计算，也就是说计算方差时使用的特征只是一维的，但在实际分类任务中，一个样本有多个维度的特征，此时想要衡量两个样本不同特征之间的关系就需要使用协方差（方差是协方差的特殊情况）

注意，衡量的是特征之间的关系，不是样本之间的

协方差则必须要求至少满足二维特征，协方差为正时，说明特征之间是正相关关系；协方差为负时，说明特征之间是负相关关系；协方差为0时，说明特征之间相互独立。例如，对于三维数据$(x,y,z)$，计算它的协方差：

$Cov(X,Y,Z)=\left[\begin{array}{ccc}Cov(x,x)& Cov(x,y)& Cov(x,z)\\ Cov(y,x)& Cov(y,y)& Cov(y,z)\\ Cov(z,x)& Cov(z,y)& Cov(z,z)\end{array}\right]$

由上式可以看出，数据的坐标变化时，协方差也随之改变。若样本的特征维度为$n$，

则$k$个样本可以表示成矩阵形式$\mathcal{X}=[x_1,x_2,\cdots ,x_k]=\left[\begin{array}{cccc}{x}_{11}& x_{21}& \cdots & x_{k1}\\ x_{12}& x_{22}& \cdots & x_{k2}\\ ⋮& ⋮& \cdots & ⋮\\ x_{1n}& x_{2n}& \cdots & x_{kn}\end{array}\right]$，

顺便能得到其均值$\bar{\mathcal{X}}=\frac{1}{k}{\sum }_{i=1}^k{x}_i=\frac{1}{k}\left[\begin{array}{c}{x}_{11}+x_{21}+\cdots +x_{k1}\\ x_{12}+x_{22}+\cdots +x_{k2}\\ ⋮\\ x_{1n}+x_{2n}+\cdots +x_{kn}\end{array}\right]$，其维度为$n\times 1$

将均值矩阵按列复制，扩展成$n\times n$的矩阵${\bar{\mathcal{X}}}^{\prime }=\left[\begin{array}{cccc}{\bar{x}}_{\cdot 1}& {\bar{x}}_{\cdot 1}& \cdots & {\bar{x}}_{\cdot 1}\\ {\bar{x}}_{\cdot 2}& {\bar{x}}_{\cdot 2}& \cdots & {\bar{x}}_{\cdot 2}\\ ⋮& ⋮& \cdots & ⋮\\ {\bar{x}}_{\cdot n}& {\bar{x}}_{\cdot n}& \cdots & {\bar{x}}_{\cdot n}\end{array}\right]$，

得到中心化的矩阵：

$\hat{\mathcal{X}}=\left[\begin{array}{cccc}{x}_{11}-{\bar{x}}_{\cdot 1}& x_{21}-{\bar{x}}_{\cdot 1}& \cdots & x_{k1}-{\bar{x}}_{\cdot 1}\\ x_{12}-{\bar{x}}_{\cdot 2}& x_{22}-{\bar{x}}_{\cdot 2}& \cdots & x_{k2}-{\bar{x}}_{\cdot 2}\\ ⋮& ⋮& \cdots & ⋮\\ x_{1n}-{\bar{x}}_{\cdot n}& x_{2n}-{\bar{x}}_{\cdot n}& \cdots & x_{kn}-{\bar{x}}_{\cdot n}\end{array}\right]=\left[\begin{array}{cccc}{x}_{11}^{\prime }& x_{21}^{\prime }& \cdots & x_{k1}^{\prime }\\ x_{12}^{\prime }& x_{22}^{\prime }& \cdots & x_{k2}^{\prime }\\ ⋮& ⋮& \cdots & ⋮\\ x_{1n}^{\prime }& x_{2n}^{\prime }& \cdots & x_{kn}^{\prime }\end{array}\right]$，

此时就可以很方便的计算协方差矩阵：

$S^2=\frac{1}{k-1}\hat{\mathcal{X}}{\hat{\mathcal{X}}}^T=\frac{1}{k-1}\left[\begin{array}{cccc}\sum x_{i1}^{\prime 2}& \sum x_{i1}^{\prime }{x}_{i2}^{\prime }& \cdots & \sum x_{i1}^{\prime }{x}_{in}^{\prime }\\ \sum x_{i2}^{\prime }{x}_{i1}^{\prime }& \sum x_{i2}^{\prime 2}& \cdots & \sum x_{i2}^{\prime }{x}_{in}^{\prime }\\ ⋮& ⋮& \cdots & ⋮\\ \sum x_{in}^{\prime }{x}_{i1}^{\prime }& \sum x_{in}^{\prime }{x}_{i2}^{\prime }& \cdots & \sum x_{in}^{\prime 2}\end{array}\right]$，

散度矩阵就是协方差矩阵乘以（k-1）。因此它们的特征值和特征向量是一样的。这里值得注意的是，散度矩阵是SVD奇异值分解的一步，因此PCA和SVD是有很大联系的。

现在考虑散度矩阵$S=\hat{\mathcal{X}}{\hat{\mathcal{X}}}^T$，由于它是对称阵，因此有$S^T=S$，于是也就有$S={\hat{\mathcal{X}}}^T\hat{\mathcal{X}}$，这个式子是将原本的数据$\hat{\mathcal{X}}$经过线性变换后得到一个新的向量组$S$，其中的数据反映了不同特征之间的协方差

我们如何得到协方差最大的一组基呢？又如何将我们的数据从标准正交基转化到新基去呢？

回答以上两个问题的核心就是特征值和特征向量

现在考虑$k=n$的情况，将散度矩阵$S$进行分解，得到其特征值对角阵$\Sigma$和特征向量矩阵$Q$，则有$S=Q\Sigma Q^{-1}$，考虑到所求的$Q$是我们需要的新基向量，所以是正交的，则有$Q^{-1}=Q^T$，

此时就有$Q\mathcal{Y}=\hat{\mathcal{X}}$，那么我们令$\mathcal{Y}=Q^T\hat{\mathcal{X}}$，就把在标准正交基下的数据$\hat{\mathcal{X}}$变换成了新基$Q$下的数据，完成了对$\hat{\mathcal{X}}$的基变换，新的坐标就成了$\mathcal{Y}$，它的每个维度都是方差最大的一组方向，保留的xin’xi

重新回到$S=Q\Sigma Q^T$，代入得$Q^T\hat{\mathcal{X}}{\hat{\mathcal{X}}}^{T}Q=\Sigma$，即$\mathcal{Y}{\mathcal{Y}}^T=\Sigma$，也符合散度的计算公式，说明我们所做的线性变换没有问题

只有满足条件的矩阵才可以进行特征值分解，若$k\ne n$，则需要用到SVD分解，奇异值分解对所有实数矩阵都可以进行。

参考：主成分分析（PCA）原理详解

PCA缺点

1. 它是运用于非监督的情况下的，对于有类别的数据则无法分辨出来
2. 它只适用于线性的情况下

解决第2个问题的办法就是使用核函数，可以先把数据集从n维映射到线性可分的高维N>n，然后再从N维降维到一个低纬度n’，这里的维度之间满足n’<n<N，这里就是用到和支持向量机一样的核函数的思想。

使用了核函数的主成分分析一般称之为核主成分分析（Kernalized PCA，简称KPCA）。

如何解决第1个问题？此时就要引入监督学习下的降维算法LDA（后续更新）。