图像特征提取之--PCA方法

引言

PCA是Principal Component Analysis的缩写，也就是主成分分析。也是用于降维常用的一中方法。PCA 主要用于数据降维，对于高维的向量，PCA 方法求得一个 $k$ 维特征的投影矩阵，这个投影矩阵可以将特征从高维降到低维。投影矩阵也可以叫做变换矩阵。新的低维特征必须每个维都正交，特征向量都是正交的。通过求样本矩阵的协方差矩阵，然后求出协方差矩阵的特征向量，这些特征向量就可以构成这个投影矩阵了。特征向量的选择取决于协方差矩阵的特征值的大小。

数据降维的目的：

• 减少预测变量的个数，
• 确保这些变量是相互独立的，
• 提供一个框架来解释结果。

降维后的特征向量减少冗余，具有低相关性等性质，在某些程度上反应了特征的本质，且在以后做分类预测等时，不容易陷入过拟合（overfitting）。

数学理论

输入一组大小为 $w\times h$ 的图像，将其按列相连构成一个 $M=w\times h$ 维的列向量。设一共有 $N$ 张图像， $X_j$ 维第 $j$ 副图像的列向量，$X$ 为 $N$ 副图像组合起来的图像矩阵。则总体的协方差矩阵：

∑=1N