为什么说PCA主成分分析能够最大程度保留原始信息？

本文链接：https://blog.csdn.net/m0_53605808/article/details/144982942

PCA（主成分分析）能够最大程度保留原始信息的原因在于它的目标是找到一个新的正交坐标系，使得尽可能多的数据方差（数据的主要信息）被投影到前几个主成分上。以下是详细的数学原理和直观解释：

在PCA中，数据的信息量通常用方差来衡量：

因此，PCA通过最大化投影后的方差，来保留原始数据的主要信息。

PCA的目标是找到一组正交基（主成分），使得：

具体来说，PCA优化的问题是：

$\text{maximize } \text{Var}(z) = \frac{1}{n} \|Xw\|^2 \quad \text{subject to } \|w\|^2 = 1$

其中：

通过优化上述问题，PCA能够找到包含最多信息的方向。

PCA首先计算数据的协方差矩阵：

$\Sigma = \frac{1}{n} X^T$

协方差矩阵描述了特征之间的线性相关性，其特征值和特征向量具有以下性质：

PCA通过对协方差矩阵 Σ 进行特征分解，得到一组特征值 $\lambda_1 \geq \lambda_2 \geq \dots \geq \lambda_n$ 以及对应的特征向量。
选择前 k 个特征值最大的特征向量，作为新的基坐标（主成分）。
由于特征值大小表示在该方向上的方差大小，因此选择最大特征值对应的特征向量能够最大程度地保留信息。

将原始数据 X 投影到主成分构成的低维子空间：

Z = XW

其中：

此投影保证了在低维空间中，数据的方差（信息量）最大化。

方差最大化：
- PCA通过选择数据分布最广的方向（即方差最大方向）作为主成分，将数据投影到这些方向上，从而保留尽可能多的信息。
- 在二维情况下，主成分对应数据点分布的“长轴”，即数据变化最大的方向。
降维后的信息量保留：
- 通过特征值分解，PCA能够量化每个主成分所保留的方差比例。
- 如果选择前 k 个主成分，这些主成分的方差之和占总方差的比例表明保留了多少原始信息。