PCA方法与Fisher准则

PCA方法是一种简单的线性降维（特征提取）方法，这里不讨论其数学推导。基本步骤如下：

1）计算样本集合X（D维）的均值矢量mu和协方差矩阵sigma；

2）计算sigma的特征值和特征矢量，按特征值降序排列；

3）选择前d个特征矢量构成矩阵E；

4）D维的矢量x可以转换为d维的矢量x’：x’ = ET（x - mu）。

PCA方法等价于在原特征空间里建立了一个新坐标系，该坐标系的原点放在均值mu的位置，前d个特征矢量就是其基矢量。由于协方差矩阵sigma为实对称矩阵，并且半正定，那么其特征值都会大于等于零，特征矢量两两正交。所以新坐标系是直角坐标系。也就是说，新坐标系下不同特征之间不相关（但不一定独立）。可以证明，经过降维之后的样本集合的协方差矩阵是对角阵。