主成分分析（PCA）及其MATLAB的实现方法

说明：下文中，粗斜体字母均表示矩阵（如$\mathbf{A}$）；为不引起歧义，列向量也均加箭头表示（如$\vec{a}$）

概述

PCA的目的

假设现在有这样一个情景：现在要统计并可视化分析男大学生体测成绩，如果只参考立定跳远和1000m成绩两项指标，我们可以以立定跳远成绩作为$x$轴，1000m成绩作为$y$轴做出散点图，每个点代表一个学生；若统计三项指标，我们也可以在三维空间中做出散点图；但如果要统计四项乃至更多的指标，我们就无法再以此方法进行数据的可视化。

而主成分分析（Principal Component Analysis，PCA）的方法，可以将具有多个观测变量的高维数据集降维，使人们可以从事物之间错综复杂的关系中找出一些主要的方面，从而能更加有效地利用大量统计数据进行定量分析，并可以更好地进行可视化、回归等后续处理。

PCA的几何意义

先将问题简化为二维情形。有$N$个样品，具有两个观测变量$X_1,X_2$，做出散点图（如下图中的蓝色点），这样，在由$X_1,X_2$组成的坐标空间中，$N$个样品的分布情况如带状。现在问：如果现在要将两个观测变量缩减为一个，应该如何选取？

可以直观地看出，这$N$个样品无论沿$X_1$轴还是沿$X_2$轴方向，均有较大的离散性（其离散程度可以分别用观测变量$X_1$的方差和$X_2$的方差定量表示），也就是说，只考虑$X_1,X_2$的其中一个，原始数据均会有较大损失。

现在考虑以下线性组合，变换坐标空间：
$$\{\begin{array}{l}{T}_1=X_1\cos \theta +X_2\sin \theta \\ T_2=-X_1\sin \theta +X_2\cos \theta \end{array}$$

即

$$\left[\begin{array}{cc}{T}_1& T_2\end{array}\right]=\left[\begin{array}{cc}{X}_1& X_2\end{array}\right]\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]=\left[\begin{array}{cc}{X}_1& X_2\end{array}\right]\mathbf{W}\text{\hspace{1em}(1)}$$

式中$\mathbf{W}$为旋转变换矩阵，有如下性质：

• $\mathbf{W}$的第$i$列组成的列向量（也就是后面将要提到的特征向量），代表的就是新坐标空间的基底$T_i$在原坐标空间中的坐标，且其为单位向量；
• $\mathbf{W}$为正交阵，即满足：${\mathbf{W}}^{\mathrm{T}}\mathbf{W}=\mathbf{I}$。

经过旋转，$N$个数据点在$T_1$轴上的离散程度最大，因而变量$T_1$代表了原始数据的绝大部分信息，这样，即使不考虑变量$T_2$也不会损失太多数据信息。这个$T_1$即为第一主成分（Principal Component 1，PC1），如图中箭头所示。若将所有数据点投影到$T_1$轴上（图中橙色点），就得到了降维后的数据。若有多个主成分，则：

• 这些主成分之间相互独立，即没有重叠的信息，亦即这些特征向量之间正交，$\mathrm{c}\mathrm{o}\mathrm{v}\left(T_i,T_j\right)=0,i\ne j$；
• 主成分的方差依次递减，$\mathrm{v}\mathrm{a}\mathrm{r}\left(T_1\right)\ge \mathrm{v}\mathrm{a}\mathrm{r}\left(T_2\right)\ge \cdots$

也就是说，PCA并不会对原有数据做任何的改变，而只是将“观看”原有数据的视角转换了，即，在原有数据空间中的数据的相对位置，与在主成分空间（Principal Component Space）中的相对位置是完全相同的，相当于只是更换了原有数据的基底。

原理与步骤简述

算法一：特征分解（Eigen Decomposition）

假设有一$n\times m$维的数据矩阵$\mathbf{A}=\left[\begin{array}{c}{\vec{a}}_1^{\mathrm{T}}\\ {\vec{a}}_2^{\mathrm{T}}\\ ⋮\\ {\vec{a}}_n^{\mathrm{T}}\end{array}\right]$，其中$n$为样本量，$m$为观测变量的数量。PCA的步骤如下：

1. 先对$\mathbf{A}$进行中心化（整体平移数据，使数据中心在$(0,0)$）：

   • 对$\mathbf{A}$求列上的平均值：$\overline{{\vec{a}}^{\mathrm{T}}}=\frac{1}{n}{\sum }_{i=1}^n{\vec{a}}_i^{\mathrm{T}}$（结果为一行向量）；
   • 记$\bar{\mathbf{A}}=\left[\begin{array}{c}1\\ 1\\ ⋮\\ 1\end{array}\right]\overline{{\vec{a}}^{\mathrm{T}}}=\left[\begin{array}{c}\overline{{\vec{a}}^{\mathrm{T}}}\\ \overline{{\vec{a}}^{\mathrm{T}}}\\ ⋮\\ \overline{{\vec{a}}^{\mathrm{T}}}\end{array}\right]$；
   • 中心化后的数据矩阵$\mathbf{X}=\mathbf{A}-\bar{\mathbf{A}}$（$n\times m$维）。

2. 计算$\mathbf{X}$的协方差矩阵$\mathbf{C}$：
   $$\mathbf{C}={\mathbf{X}}^{\mathrm{T}}\mathbf{X}\text{\hspace{1em}(2)}$$

3. 对$\mathbf{X}$做特征分解，即求解特征方程
   $$\left|\mathbf{C}-\lambda \mathbf{I}\right|=0\text{\hspace{1em}(3)}$$
   可得到$m$个特征值（Eigenvalues）${\lambda }_i$。再解方程
   $$\left(\mathbf{C}-{\lambda }_i\mathbf{I}\right){\vec{w}}_i=0\text{\hspace{1em}(4)}$$
   其中${\vec{w}}_i=\left[\begin{array}{c}{w}_{1i}\\ w_{2i}\\ ⋮\\ w_{mi}\end{array}\right],i=1,2,\cdots ,m$，得到$m$个特征向量（Eigenvectors）${\vec{w}}_i$，将它们组成矩阵 $\mathbf{W}$。可以验证，${\sum }_{j=1}^m{w}_{ji}=1$。

4. 将特征值降序排列，其对应的特征向量也排列到对应位置（调换$\mathbf{W}$的列）。我们这样做的原因是，$\mathrm{v}\mathrm{a}\mathrm{r}\left(T_i\right)={\lambda }_i$。

   进行特征还原：
   $$\mathbf{T}=\mathbf{X}\mathbf{W}\text{\hspace{1em}(5)}$$
   其中：

   • $\mathbf{T}$，$n\times m$维，称为主成分得分（principal component scores），即为新坐标空间中的数据点
   • $\mathbf{W}$，$m\times m$维，为特征向量组成的矩阵（称为loadings）

5. 我们可以只取$\mathbf{W}$的前$r$列，即将$m\times m$维矩阵缩减为$m\times r$维矩阵，记作${\mathbf{W}}_r$，则有：
   $${\mathbf{T}}_r=\mathbf{X}{\mathbf{W}}_r\text{\hspace{1em}(6)}$$
   ${\mathbf{T}}_r$同样为$\mathbf{T}$从$n\times m$维缩减为$n\times r$维的结果，相当于将原有的$m$个观测变量缩减为最主要的$r$个，即达到了我们的目的——降维。

算法二：奇异值分解（Singular Value Decomposition，SVD）

对矩阵$\mathbf{X}$进行奇异值分解：
$$\mathbf{X}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\ast }=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\mathrm{T}}$$
其中：

• $\mathbf{U}$（$n\times n$ 维），$\mathbf{V}$（$m\times m$ 维）分别称为左奇异向量和右奇异向量；
• ${\mathbf{V}}^{\ast }$表示矩阵$\mathbf{V}$的共轭转置矩阵，因为$\mathbf{X}$为实数矩阵，所以可写为${\mathbf{V}}^{\ast }={\mathbf{V}}^{\mathrm{T}}$；
• $\mathbf{\Sigma }$为一矩形对角矩阵（$n\times m$维），其对角线元素称为奇异值（singular value）。

在PCA的问题中恒有：$\mathbf{W}=\mathbf{V}$。与$\mathbf{W}$相似，$\mathbf{V}$具有以下性质：

• $\mathbf{\Sigma }$的对角线元素也满足${\sigma }_1>{\sigma }_2>\cdots$，即，也是降序排列的；
• $\mathbf{U}$和$\mathbf{V}$的第$i$列，对应于$\mathbf{\Sigma }$的第$i$个元素（第$i$大元素）${\sigma }_i$；
• $\mathbf{U}$和$\mathbf{V}$满足：${\mathbf{U}}^{\ast }\mathbf{U}=\mathbf{I}$，${\mathbf{V}}^{\ast }\mathbf{V}=\mathbf{I}$。

故，公式$(5)$可写为：

$$\begin{array}{rl}\mathbf{T}& =\mathbf{X}\mathbf{W}\\ & =\mathbf{X}\mathbf{V}\\ & =\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\ast }\mathbf{V}\\ & =\mathbf{U}\mathbf{\Sigma }\end{array}$$

即：

$$\mathbf{T}=\mathbf{U}\mathbf{\Sigma }\text{\hspace{1em}(7)}$$

我们同样可以对$\mathbf{\Sigma }$只取第一个$r\times r$的块，记作${\mathbf{\Sigma }}_r$，相应地$\mathbf{U}$也只取前$r$列，记作${\mathbf{U}}_r$，则有

$${\mathbf{T}}_r={\mathbf{U}}_r{\mathbf{\Sigma }}_r\text{\hspace{1em}(8)}$$

$r$的选取标准

计算方差的累积贡献率：
$$f(k)=\frac{{\sum }_{i=1}^i{\lambda }_k}{{\sum }_{i=1}^m{\lambda }_i},k=1,2,\cdots \text{\hspace{1em}(9)}$$
作出其图像。因为${\lambda }_1>{\lambda }_2>\cdots$，故$f(k)$为一单调递增的函数，且其递增速度随着$k$增加逐渐降低。

一般地，我们可以取使得$f(r)\ge$某一阈值（如$95\%$）的最小的$r$，这样最多只会损失掉5%的方差。

对于SVD法，将公式$(9)$中的$\lambda$换为$\sigma$即可。

两种算法的比较

在采用特征分解法时，我们无法避免计算${\mathbf{X}}^{\mathrm{T}}\mathbf{X}$，而在观测变量数$m$非常大时，这一算法的劣势将被无限放大（协方差矩阵为$m\times m$维）。

而采用SVD算法，则只需要计算${\mathbf{T}}_r={\mathbf{U}}_r{\mathbf{\Sigma }}_r$，而${\mathbf{\Sigma }}_r$为对角阵，显然这一算法的计算量要小很多（这一点类似于DFT与FFT之间的比较）。默认情况下，MATLAB中的pca函数也会使用SVD算法。

MATLAB的实现方法

我们先载入MATLAB自带的数据集fisheriris（该数据集统计了三种鸢尾花的花萼长、花萼宽、花瓣长、花瓣宽），然后进行中心化处理，并计算协方差矩阵：

load fisheriris;
X = meas;     % n = 150, m = 4

% 中心化
meanX = ones(size(X,1), 1) * mean(X);
centredX = X - meanX;

C = cov(centredX);	% 直接调用cov直接计算协方差矩阵即可

特征分解法：利用eig函数

[W, Lambda] = eig(C);   % W是特征向量组成的矩阵（4×4），Lambda是特征值组成的对角矩阵
ev = (diag(Lambda))';		% 提取特征值
ev = ev(:, end:-1:1);		% eig计算出的特征值是升序的，这里手动倒序（W同理）
W = W(:, end:-1:1);
sum(W.*W, 1)    % 可以验证每个特征向量各元素的平方和均为1

Wr = W(:, 1:2);    % 提取前两个主成分的特征向量
Tr = centredX * Wr;  %  新坐标空间的数据点

% 作图
figure;
    stairs(cumsum(ev)/sum(ev), 'LineWidth',1.5);
    axis([1 4 0 1]);
    xlabel('$ k $', 'Interpreter', 'latex');
    ylabel('$ f(k)=\frac{\sum _{i=1}^i \lambda_k}{\sum_{i=1}^m \lambda_i} $',...
        'Interpreter', 'latex');
    hold on;
    plot([1 4], [0.95 0.95], '--');    % 从图中可以看出，取r = 2即可

figure;
    scatter(Tr(:,1), Tr(:,2), 130, categorical(species), '.');
    colormap(winter);
    xlabel('Principal Component 1');
    ylabel('Principal Component 2');

SVD法：利用svd函数

[U, Sigma, V] = svd(X);    % 可以检验，W和V完全相同（向量的正负号不影响）
Vr = V(:, 1:2);    % 提取前两个主成分的特征向量
Tr = X * Vr;  %  新坐标空间的数据点
% 画图部分同上，略

利用pca函数

pca的常用调用格式如下：

[loadings, scores] = pca(X, 'NumComponents', r);

其中：

• loadings为${\mathbf{W}}_r$矩阵（$m\times r$维），即主成分系数；
• scores为${\mathbf{T}}_r$矩阵（$n\times r$维）；
• eigenvalues为所有特征值组成的列向量。

且默认情况下，pca会自动将数据X中心化。

在本例中，我们可以略去中心化的步骤，直接调用该函数：

[Wr, Tr, ev] = pca(X, 'NumComponents',2);
% 画图部分略

应用

聚类分析

如上面鸢尾花的例子中，降维后的数据仍可以清晰地分为三类。这样，当我们拿到一种鸢尾花，计算相应的$T_1$和$T_2$，将结果画在散点图中，我们就可以判断出其属于哪一种鸢尾花。

例如，我们在电商平台浏览并购买商品时，平台就会收集你的年龄、性别、购买商品平均价格、购买频率、最初浏览商品直到最终购买之间的时间间隔等等大量、多维度的信息，然后进行降维，将你归于“大学生”“白领”“一家三口”等类别，然后定向为你推送促销商品的通知。

图像压缩

假设有一张$n\times m$的图片$\mathbf{X}$，根据$(6)$式，我们可以利用矩阵${\mathbf{W}}_r$将其降至$n\times r$维。如果我们只传输${\mathbf{T}}_r$和${\mathbf{W}}_r$，就可以反推还原出$\mathbf{X}$，而压缩比可达$\frac{nm}{r(n+m)}\le \frac{\sqrt{nm}}{2r}$

人脸检测与匹配

假设有$n$个人脸训练样本，每个样本共$m$个像素，每个样本由其像素灰度值展开组成一个行向量，按列组成矩阵$\mathbf{X}$。

同样先求其平均向量（称为“平均脸”），中心化后求协方差矩阵，并进行特征分解。任何一幅人脸图像都可以变换到主成分空间，得到“特征脸”（Eigenfaces）。

这样，若将待识别的人脸做同样的变换，遍历已有的特征脸中，寻找最为接近的特征脸，即完成了匹配。