主成分分析的概念与发展

主成分分析的概念与发展

摘要：

主成分分析是一种历史悠久的数据分析方法，在众多领域得到广泛的应用。本文讲述了主成分分析的应用背景和基本概念，从两种角度分析了主成分分析的原理，讲解了使用主成分分析的流程，并就两种角度的原理进行了详细的推导，最后依据不同主成分分析方法，总结了主成分分析的发展。

关键字：

主成分分析；机器学习

1 主成分分析的概念

1.1主成分分析的研究背景

在过去的数据统计与如今发展起来的人工智能等研究领域，在研究各类问题时，都需要通过对原始数据的处理，提取或学习到某些特征向量，以此来解决所要研究的问题。但是提取到的高维的特征向量中，可能存在冗余信息。也就是说，特征向量中的某些特征之间具有相关性。这时，需要从高维相关的特征向量中，得到主要有效的信息，就需要用到某些方法。并且，随着研究的问题日益复杂，特征向量的维度越来越高，给原本就复杂的问题，带来了更多的困难，也需要降低特征向量维度来降低问题的复杂性。而主成分分析是数据降维方法中，一种常用的方法，在各领域的研究中广泛使用。

1.2 主成分分析的思想

主成分分析是一种多维数据分析方法，将原来可能存在线性相关的高维原始数据，通过线性变换，转变为线性无关的低维数据。从另一角度上来说，主成分分析是一种无监督的数据降维方法，也就是寻找原始数据集的投影方向，使得该数据集在投影方向上的投影数据方差最大，以此来得到原始数据集的最优投影方向，并得到投影后数据。这些投影后数据，在得以最大限度的保留原始数据的信息的同时，能够去除到原始数据中冗余成分，留下主要成分。

2 主成分分析的原理

想要从高维的特征向量中，降维得到最主要的特征，最主要是通过最大化方差或最小化损失两种思路来进行推导。以下对这两种思路进行介绍，并对他们背后的原理进行探讨。

2.1 最大化方差

将原始数据通过线性变换得到重构后的数据，而线性变换的方式有无数种，最大化方差的意思是，求重构后的数据之间方差最大的某一种线性变换。这一思路背后的核心思想是，所求的线性变换的基，能够让重构后的数据在最大限度保留原始数据信息。而最大化方差法的这一思路，存在一种假设，即“方差越大，信息量越大。” 但是，方差是用来度量数据分布的离散程度的。的确，从直观上来看，经过重构后的数据，方差越大，在新的空间表示的数据之间越分散，保留原始数据的信息看似是越多的。但是基于信息熵来定义的信息量，是用来度量数据的不确定性程度的，两者之间存在一定的相关性，但这两者并不完全等价。举个例子来进行解释，衣服和鞋子的价格这两种信号源，一件衣服的价格可能是25元和100元，概率都为0.5，一双鞋子的价格是50元和100元，概率也都为0.5。显然，衣服价格的方差要更大一些，但这两种物品的价格都只有两种可能，并且概率也相同，那么根据信息熵的计算公式它们所包含的信息量是相同的。从这一角度来说，重构后的数据方差最大，并不能直接等价于保留原始数据信息量最大这一需求。

2.2 最小重构代价

假设原始数据在n维的空间中，那么所有的原始数据，都可以由n个正交的n维向量线性表示，但这n个向量的线性组组合有无数个，我们需要从中找出某一个最优的组合，并从中选出m(m<n)个向量进行线性变换，m维即所求的维度，这同最大化方差似乎并没有太大的差别。但最小化损失的意思是，经过选出m个向量进行线性变换后的数据，要与原始数据之间的差别最小。也就是说，选出来对原始数据进行线性变换的基，是能够使经过线性变换的数据和原始数据之间的差别最小，即损失最小。最小化损失法这一思路，其背后的核心思想是，原始数据经过线性变换或者说重构后，使得原始数据得到降维，但数据中所包含的信息会产生一部分损失，会使重构后的数据与原始数据之间产生一定差别。最小化损失，即最小化这一差别，使原始数据损失的信息最少。

3 主成分分析流程

3.1 流程

输入：n维数据集 X = { X 1 , X 2 , … X M } X=\left \{X_1,X_2,…X_M\right \} X={X1​,X2​,…XM​}，$X$大小为$n\times M$，降到m维
输出：经降维后的m维数据集$Y=\left\{X_1^{{}^{\prime }},X_2^{{}^{\prime }},\dots X_M^{{}^{\prime }}\right\}$，Y大小为m×M

1. 将原始数据去中心化 $X=X-\overline{X}$，则$\overline{X}$为0
2. 计算去中心化后数据的协方差矩阵$X{X}^T$
3. 对协方差矩阵$X{X}^T$进行特征值分解
4. 取前m大特征值个所对应的m个n维列特征向量，组成特征向量矩阵$W=\left\{w_1^{{}^{\prime }},w_2^{{}^{\prime }},\dots w_m^{{}^{\prime }}\right\}$，$W$大小为$n\times m$,即为所求的线性变换矩阵
5. 经$Y=W^{T\times X}$得到降维后的数据$Y=\left\{X_1^{{}^{\prime }},X_2^{{}^{\prime }}，,\dots X_M^{{}^{\prime }}\right\}$

3.2 降维的维度的选择

能量百分率准则：设协方差矩阵共有N个特征值，特征值从大到小排序为${\lambda }_1,{\lambda }_2,\dots {\lambda }_N$，选取前M个特征值所对应的特征向量：
前M个特征值所对应的能量比例：$P_M=\frac{{\sum }_{i=1}^M{\lambda }_i}{{\sum }_{i=1}^N{\lambda }_i}$
能量比例$P_M$一般为大于95%或99%

4 主成分分析的推导

本文中依据最大化方差思想和最小化损失思想，分别推导如何得到降维后的数据，这两种方法的推导过程其实大同小异。

4.1 基于最大化方差思想的推导

设有原始数据$x_1,x_2,\dots x_M$，每个数据为N维(N>M)，求一个大小为$M\times N$的线性变换矩阵A，使得$Y=A(X-\overline{X})$ ,得到降维后的Y，将X的维度降为M(实际应用中可降维至任意维度，不一定为原始数据个数M，此处为了方便设为M)。
条件：

1. X = { x 1 , x 2 , … x M } X=\left \{x_1,x_2,…x_M\right \} X={x1​,x2​,…xM​},其中$x_1,x_2,\dots x_M$是$1\times N$维列向量
2. $A=\left\{\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_M\end{array}\right\}$，其中$a_1,a_2,\dots a_M$是1×N维行向量
3. 矩阵$A$中$a_1,a_2,\dots a_M$为正交向量

目标：求出矩阵A,使原始数据X降维后,得到的数据Y方差最大
方法：
$maximize{\sum }_{k=1}^M\Vert a_i\left(x_k-\overline{x}\right)\Vert$，使用拉格朗日乘子法,依次求出$a_i,i\in \left[1,\cdots ,M\right]$
步骤：
求$a_1$
1）${\sum }_{k=1}^M{\Vert a_1{x}_k-\bar{x}\Vert }^2={\sum }_{k=1}^M{a}_1\left(x_k-\bar{x}\right){\left(x_k-\bar{x}\right)}^T{a}_1^T$，其中$\sum ={\sum }_{k=1}^M{\left(x_k-\bar{x}\right)}^T$为协方差矩阵
2）由条件$a_1{a}_1^T=1$，使用拉格朗日乘子法：$E\left(a_1\right)=a_1\sum a_1^T-{\lambda }_1\left(a_1{a}_1^T-1\right)$
3）$\frac{\partial E}{\partial a_1}=\sum a_1^T-{\lambda }_1{a}_1^T=0\to \sum a_1^T={\lambda }_1{a}_1^T$，由此可以得到特征值${\lambda }_1$和对应的特征向量$a_1^T$
4）又$a_1\sum a_1^T=a_1{\lambda }_1{a}_1^T={\lambda }_1$可得${\lambda }_1$为协方差矩阵的最大特征值，$a_1^T$为最大特征值对应的特征向量
求$a_2$
1)由条件$a_2{a}_2^T=1$和$a_2{a}_1^T=0$，使用拉格朗日乘子法：$E\left(a_2\right)=a_2\sum a_2^T-{\lambda }_2\left(a_2{a}_2^T-1\right)-\beta a_2{a}_1^T$
2)得$\frac{\partial E}{\partial a_2}=\sum a_2^T-{\lambda }_2{a}_2^T-\beta a_1^T=0$
3)证明$\beta =0$，${\left(\sum a_2^T-{\lambda }_2{a}_2^T-\beta a_1^T\right)}^T=a_2{\sum }^T-{\lambda }_2{a}_2-\beta a_1$，又$\sum ={\sum }^T$，则右乘$a_1$，得$a_2\sum a_1^T-{\lambda }_2{a}_2{a}_1^T-\beta a_1{a}_1^T={\lambda }_1{a}_2{a}_1^T-\beta \to \beta =0$
4)得$\frac{\partial E}{\partial a_2}=\sum a_2^T-{\lambda }_2{a}_2^T\to \sum a_2^T={\lambda }_2{a}_2^T$，由此可得第二大特征值${\lambda }_2$和对应的特征向量$a_2^T$
依此类推，得到$a_3,a_4,\dots ,a_M$，得到所求矩阵$A=\left\{\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_M\end{array}\right\}$

4.2 基于最小重构代价思想

设有原始数据$x_1,x_2,\dots x_M$，每个数据为N维(N>M)，求一个重构矩阵为A，大小为N$\times$N，使得$Y=A\left(X-\bar{X}\right)$，得到重构Y，选择重构矩阵中的前M个向量，将X的维度降为M(实际应用中可降维至任意维度，不一定为原始数据个数M，此处为了方便设为M)。
条件:
1)$X=\left\{\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_N\end{array}\right\}$，其中$x_1,x_2,\dots x_N$是M维行向量
2） A = { a 1 , a 2 , … a N } A=\left \{a_1,a_2,\dots a_N\right \} A={a1​,a2​,…aN​},其中$a_1,a_2,\dots ,a_N是M维列向量$
3）矩阵A中$a_1,a_2,\dots a_N$为正交向量
目标：求出矩阵A，使原始数据X降维后，得到的数据Y与原始数据的损失最小
步骤：
1）$z_k=x_k-\bar{x}$(去中心化)，$\sum ={\sum }_{k=1}^M\left(x_k-\bar{x}\right)\left(x_k-\bar{x}\right)={\sum }_{k=1}^M{z}_k{z}_k^T$
2）将去中心化的数据重构${\sum }_{i=1}^N{z}_k{a}_i$，选M个向量降维${\sum }_{i=1}^M{z}_k{a}_i$
3）重构代价：${\sum }_{k=1}^N\Vert {\sum }_{i=1}^N{z}_k{a}_i-{\sum }_{i=1}^M{z}_k{a}_i\Vert$
4）$\to {\sum }_{k=1}^N{\Vert {\sum }_{i=M+1}^N{z}_k{a}_i\Vert }^2$
5）$\to {\sum }_{i=M=1}^N{\sum }_{k=1}^N{\left(z_k{a}_i\right)}^2\to {\sum }_{i=M+1}^N{\sum }_{k=1}^N{a}_i{z}_k{a}_k^T{a}_i^T\to {\sum }_{i=M+1}^N{a}_i\sum a_i^T$
6）$minimize{\sum }_{i=M+1}^N{a}_i\sum a_i^T$，由条件$a_i{a}_i^T=1$，使用拉格朗日乘子法：$E\left(a_i\right)={\sum }_{i=M+1}^M{a}_i\sum a_i^T-\lambda \left(a_i{a}_i^T-1\right)$，后同最大化方差推导

5 主成分分析的发展

5.1 核主成分分析

1997年Bernhard等人提出核主成分分析[1]。可以认为，PCA是一个去属性相关性的过程，这里的相关性主要指的是线性相关性，那么对于非线性的情况，就涉及到Kernel—PCA即所谓的核PCA(KPCA)。直观来说，核PCA就是将原样本通过核映射后，在核空间基础上做PCA降维。

5.2 二维主成分分析

2004年Jiam Yang等人提出二维主成分分析[2]。传统的人脸识别在使用PCA的时候，采用的方法往往是将图像矩阵转为向量。作者认为这种方式导致每一个样本的维度大，而样本少，并且将二维转化为一维的过程中可能会产生信息的丢失，这样构建的协方差矩阵并不合理。所以，作者提出了一种2维的PCA，在进行PCA主特征提取的时候无需进行矢量化。

5.2 稀疏主成分分析

2006年Trevor等人提出稀疏主成分分析[3]。虽然传统的主成分分析在数据处理和降维中已经有了广泛的应用，但是它也存在着一些问题。传统主成分分析经常会使得分析结果难以解释，因为每一个主成分都是原始的所有变量的线性组合，那么每一个主成分到底表达的是什么方面的特征就很难看出来。论文中首先证明了主成分分析的求解可以被表示为一个回归形式的最优化问题，然后在这个最优化问题中引入lasso惩罚项，使得一些载荷能够缩小到0从而减少主成分中关联的原始变量个数（变量稀疏化）。通过这个方法我们就可以把主成分中主要的部分凸显出来，更加容易解释。

5.3 鲁棒主成分分析

2011年J.CAND`ES等人提出一种鲁棒主成分分析[4]。鲁棒主成分分析（Robust PCA）考虑的是这样一个问题：一般我们的数据矩阵X会包含结构信息，也包含噪声。那么我们可以将这个矩阵分解为两个矩阵相加，一个是低秩的（由于内部有一定的结构信息，造成各行或列间是线性相关的），另一个是稀疏的（由于含有噪声，而噪声是稀疏的），则鲁棒主成分分析可以写成以下的优化问题：鲁棒性体现在PCA假设我们的数据的噪声是高斯的，对于大的噪声或者严重的离群点，PCA会被它影响，导致无法正常工作。而Robust PCA则不存在这个假设。它只是假设它的噪声是稀疏的，而不管噪声的强弱如何。

参考文献

[1] B. SchSlkopf, A. Smola, and K.-R. Muller, “Kernel Principal Component Analysis Bernhard,” Gerstner W., Germond A., Hasler M., Nicoud JD. Artif. Neural Networks — ICANN’97. ICANN 1997. Lect. Notes Comput. Sci., no. 3, pp. 1–6, 2011, [Online]. Available: papers://22880b5a-c3f7-4a61-9e33-ed4c97fcb3c7/Paper/p254
[2] J. Yang, D. Zhang, A. F. Frangi, and J. Y. Yang, “Two-Dimensional PCA: A New Approach to Appearance-Based Face Representation and Recognition,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 26, no. 1, pp. 131–137, 2004, doi: 10.1109/TPAMI.2004.1261097.
[3] H. Zou, T. Hastie, and R. Tibshirani, “Sparse principal component analysis,” J. Comput. Graph. Stat., vol. 15, no. 2, pp. 265–286, 2006, doi: 10.1198/106186006X113430.
[4] E. J. Candès, X. Li, Y. Ma, and J. Wright, “Robust principal component analysis?,” J. ACM, vol. 58, no. 3, 2011, doi: 10.1145/1970392.1970395.

参考资料

［1］https://www.cnblogs.com/pinard/p/6239403.html
［2］https://blog.csdn.net/scar2016/article/details/116530933?spm=1001.2101.3001.6650.5&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-5-116530933-blog-115424019.pc_relevant_antiscanv2&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-5-116530933-blog-115424019.pc_relevant_antiscanv2&utm_relevant_index=10
［3］ http://blog.codinglabs.org/articles/pca-tutorial.html
［4］ MOOC浙江大学机器学习课程