Principal Component Analysis：主成分分析【PCA降维】

机器学习笔记——主成分分析

第一章 机器学习简介
第二章 感知机
第三章 支持向量机
第四章 朴素贝叶斯分类器
第五章 Logistic回归
第六章 线性回归和岭回归
第七章 多层感知机与反向传播【Python实例】
第八章 主成分分析【PCA降维】
第九章 隐马尔可夫模型
第十章 奇异值分解

---

降维是一种对高维度特征数据预处理方法，将高维度的数据保留下最重要的一些特征，去除噪声和不重要的特征，从而实现提升数据处理速度的目的。在实际的生产和应用中，降维在一定的信息损失范围内，可以为我们节省大量的时间和成本，因此，降维成为应用非常广泛的数据预处理方法。

降维的算法有很多，比如奇异值分解(SVD)、主成分分析(PCA)、因子分析(FA)、独立成分分析(ICA)。本节介绍主成分分析方法。

一、PCA降维原理

PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。在信号处理中认为信号具有较大的方差，噪声有较小的方差，信噪比就是信号与噪声的方差比，越大越好，因此我们认为，最好的$k$维特征是将$n$维样本点转换为$k$维后，每一维上的样本方差都很大，并且每一维的数据不相关。

1 方差

我们希望数据在投影后的投影值尽可能分散, 而这种分散程度, 可以用数学上的方差来表述。此处, 一维数据的方差可以看做是每个元素与数据均值的差的平方和的均值, 即:
$$\mathrm{Var}(x)=\frac{1}{m-1}\sum _{i=1}^m{\left(x_i-\mu \right)}^2.$$若先将数据归一化（均值为0） , 因此方差可以直接用每个元素的平方和除以m-1(无偏估计，不熟悉的可以翻一翻概率论相关的书籍)表示:$$\mathrm{Var}(x)=\frac{1}{m-1}\sum _{i=1}^m{x}_i^2.$$

2 协方差

下面的二维数据，$x_1$和$x_2$两个维度显然是相关的，如果我们进行一个变换，换到$y_1$和$y_2$方向：

1. 显然$y_1$方向是数据方差最大的方向；
2. 为了使得第二个变量与$y_1$不相关，那么$y_2$与$y_1$正交即可.

考虑三维问题， 与之前相同，首先我们希望找到一个方向使得投影后方差最大，这样就完成了第一个方向的选择, 继而我们选择第二个投影方向。如果我们还是单纯只选择方差最大的方向, 很明显, 这个方向与第一个方向应该是“几乎重合在一起”, 显然这样的维度是没有用的, 因此, 应该有其他约束条件。

从直观上说, 让二维数据尽可能表示更多的原始信息, 我们是不希望它们之间存在（线性）相关性的, 因为相关性意味着二维数据不是完全独立，必然存在重复表示的信息。

数学上可以用数据之间的协方差表示其相关性, 由于已经让每一维数据均值为 0 , 则:
$$\mathrm{Cov}(a,b)=\frac{1}{m-1}\sum _{i=1}^m{a}_i{b}_i$$可以看到，在数据均值为 0 的情况下，二维数据的协方差简洁的表示为其内积除以 $m-1$ 。

1. 当协方差为 0 时, 表示两个字段完全独立;
2. 为了让协方差为 0 , 我们选择第二个基时只能在与第一个基正交的方向上选择，因此最终选择的两个方向一定是正交的。

3 协方差矩阵对角化

至此, 我们得到了降维问题的优化目标:

将一组 $N$ 维向量降为 $K$ 维（$K$大于0, 小于 $N$ ）, 其目标是选择$K$个单位（模为1）正交基, 使得原始数据变换到这组基上后，各字段两两间协方差为 0 , 而字段的方差则尽可能大（在正交的约束下，取最大的 $K$ 个方差）。

假设我们有m个二维数据, 那么我们将它们按列组成矩阵 $X$ :
$$X=\left(\begin{array}{llll}{a}_1& a_2& \cdots & a_m\\ b_1& b_2& \cdots & b_m\end{array}\right)$$然后我们用$X$乘以$X^T$, 并乘上系数 $\frac{1}{m-1}$ :
$$\frac{1}{m-1}X{X}^T=\left(\begin{array}{cc}\frac{1}{m-1}{\sum }_{i=1}^m{a}_i^2& \frac{1}{m-1}{\sum }_{i=1}^m{a}_i{b}_i\\ \frac{1}{m-1}{\sum }_{i=1}^m{a}_i{b}_i& \frac{1}{m-1}{\sum }_{i=1}^m{b}_i^2\end{array}\right)$$
协方差矩阵：

1. 这个矩阵对角线上的两个元素分别是两个字段的方差.
2. 而其它元素是 $a$ 和 $b$ 的两个维度的协方差.
3. 两者被统一到了一个矩阵.

根据矩阵相乘的运算法则, 这个结论很容易被推广到一般情况:

1. 设我们有 $m$ 个 $n$ 维数据记录, 将其按列排成 $n$ 乘 $\mathrm{m}$ 的矩阵 $\mathbf{X}\in {\mathbb{R}}^{n\times m}$.
2. 设 $C=\frac{1}{m-1}X{X}^T$, 则 $\mathrm{C}$ 是一个对称矩阵, 其对角线分别个各个字段的方差, 而第$i$行 $\mathrm{j}$ 列和 $\mathrm{j}$ 行$i$列元素相同，表示$i$和$j$两个字段的协方差.

得到协方差矩阵后，我们发现优化目标，等价于：

将协方差矩阵对角化，即除对角线外的其它元素化为0，并且在对角线上将元素按大小从上到下排列，这样我们就达到了优化目的。

我们进一步看下原矩阵与基变换后矩阵协方差矩阵的关系，设：

1. 原始数据矩阵$X\in {\mathbb{R}}^{n\times m}$对应的协方差矩阵为$C$;
2. 设$P\in {\mathbb{R}}^{k\times n}$是$k$个基向量按行组成的矩阵，对原始数据进行变换的矩阵;
3. $Y=PX$，$Y\in {\mathbb{R}}^{k\times m}$为$X$对$P$做基变换后的数据;
4. 设$Y$的协方差矩阵为$D$，我们希望变换后的数据协方差矩阵为对角的，非对角元为0.

我们推导一下$D$与$C$的关系：
$$\begin{array}{rl}D& =\frac{1}{m-1}Y{Y}^T\\ & =\frac{1}{m-1}(PX)(PX{)}^T\\ & =\frac{1}{m-1}PX{X}^T{P}^T\\ & =P\left(\frac{1}{m-1}X{X}^T\right)P^T\\ & =PC{P}^T\end{array}$$现在事情很明白了! 我们希望$D$是对角矩阵，我们要找的变换矩阵$P$不是别的, 而是能让原始协方差$C$矩阵对角化的 $\mathrm{P}$ .换句话说, 优化目标变成了：

寻找一个矩阵 $\mathrm{P}$, 满足 $PC{P}^T$ 是一个 对角矩阵, 并且对角元素按从大到小依次排列, 那么$P$的前$K$行就是要寻找的基, 用$P$的前$K$行组成的矩阵乘以$K$就使得$K$从$n$维降到了$k$维并满足上述优化条件。

4 特征值分解

现在所有焦点都聚焦在了协方差矩阵对角化问题上, 由上文知道, 协方差矩阵 $C$ 是一个是对称矩阵，在线性代数上, 实对称矩阵有一系列非常好的性质:

1. 实对称矩阵不同特征值对应的特征向量必然正交；
2. 设特征向量 $\lambda$ 重数为 $r$, 则必然存在 $r$ 个线性无关的特征向量对应于 $\lambda$, 因此可以将这 $r$ 个特征向量单位正交化
3. 由上面两条可知, 一个 $\mathrm{n}$ 行 $\mathrm{n}$ 列的实对称矩阵一定可以找到 $\mathrm{n}$ 个单位正交特征向量, 设这 $\mathrm{n}$ 个特征向量为 $e_1,e_2,\cdots ,e_n$, 我们将其按列组成矩阵:
   $$P=\left(\begin{array}{llll}{e}_1& e_2& \cdots & e_n\end{array}\right),$$则协方差矩阵 $C$ 可以被$P$对角化:
   $$P^{T}CP=\Lambda =\left(\begin{array}{llll}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right).$$

二、 PCA算法

总结一下PCA的算法步骤：

我们用转换矩阵对$X$进行变换即可得到降维的数据:
$$Y=PX$$即为降维到 $\mathrm{k}$ 维后的数据，$Y\in {\mathbb{R}}^{k\times m}$.

1 主成分

由
$$Y=PX=\left[\begin{array}{c}{y}^1\\ ⋮\\ y^k\end{array}\right]$$
其中$y^i$表示$Y$的第$i$行，也就是数据的第$i$个变量，我们知道，变量$y^1$ 是$X$ 的所有线性变换中方差最大的；$y^2$ 是与 $y^1$ 不相关的 $x$ 的所有线性变换中方差最大的。

定义（主成分）

我们称变换后的数据，方差最大的变量$y^1$为原始数据$X$的第一主成分，同理可以定义第2主成分、第3主成分……

2 方差贡献率

第$k$主成分$y^k$ 的方差贡献率定义为$y^k$ 的方差与所有方差之和的比，记作${\eta }_k$:
$${\eta }_k=\frac{{\lambda }_k}{{\sum }_{i=1}^m{\lambda }_i},$$$k$ 个主成分 $y^1,y^2,\cdots ,y^k$ 的累计方差贡献率定义为 $k$ 个方差之和与所有方差之和的比：
$$\sum _{i=1}^k{\eta }_i=\frac{{\sum }_{i=1}^k{\lambda }_i}{{\sum }_{i=1}^m{\lambda }_i}.$$通常取 $k$ 使得累计方差贡献率达到规定的百分比以上，如 70%~80%以上。

3 数据重构

$Y$为降到$k$维的数据，我们想要恢复到$n$维，那么逆向求X就行
$$\hat{X}=P^T\cdot Y.$$如果要恢复到最初始的，那么还要加上被减掉的均值：
$${\hat{X}}_{raw}=\hat{X}+\mu =P^T\cdot Y+\mu .$$

4 优缺点

根据上面对PCA的数学原理的解释，我们可以了解到一些PCA的能力和限制:

1. PCA本质上是将方差最大的方向作为主要特征，并且在各个正交方向上将数据“离相关”，也就是让它们在不同正交方向上没有相关性。
2. 因此，PCA也存在一些限制，例如它可以很好的解除线性相关，但是对于高阶相关性就没有办法了.
3. 对于存在高阶相关性的数据，可以考虑Kernel PCA，通过Kernel函数将非线性相关转为线性相关。

三、参考资料

1. 李航. 机器学习方法. 清华大学出版社, 2022.