PCA基本原理

PCA旨在找到数据中的主成分，并利用这些主成分表征原始数据，从而达到降维的目的。

PCA求解方法：

1. 对样本数据进行中心化处理
2. 求样本协方差矩阵
3. 对协方差矩阵进行特征分解，将特征值从大到小排列
4. 取特征值前$d$大对应的特征向量${\omega }_1,{\omega }_2,...,{\omega }_d$，通过以下映射将$n$维样本映射到$d$维

$$x_i^{{}^{\prime }}=\left[\begin{array}{c}{\omega }_1^T{x}_1\\ {\omega }_2^T{x}_2\\ ...\\ {\omega }_d^d{x}_d\end{array}\right]$$

新的$x_i^{{}^{\prime }}$的第$d$维就是$x_i$在第$d$个主成分$\omega$方向上的投影，通过选取最大的$d$个特征值对应的特征向量，我们将方差较小的特征（噪声）抛弃，使得每个$n$维向量$x_i$被映射为d维向量$x_i^{{}^{\prime }}$，定义降维后的信息占比为：

$\eta =\sqrt{\frac{{\sum }_{i=1}^d{\lambda }_i^2}{{\sum }_{i=1}^n{\lambda }_i^2}}$

PCA推导过程可以使用空间上找一个投影方向$\omega$，使得所有样本点在该方向投影的方差尽可能大，对投影后方差的表示极为协方差矩阵，运用拉格朗日乘数法得出最佳投影方向就是最大特征值对应的特征向量。