特征脸(Eigenface)理论基础-PCA(主成分分析法)

在之前的博客  人脸识别经典算法一：特征脸方法（Eigenface）  里面介绍了特征脸方法的原理，但是并没有对它用到的理论基础PCA做介绍，现在做补充。请将这两篇博文结合起来阅读。以下内容大部分参考自斯坦福机器学习课程：http://cs229.stanford.edu/materials.html

假设我们有一个关于机动车属性的数据集{x⁽ⁱ⁾;i=1,...,m}（m代表机动车的属性个数），例如最大速度，最大转弯半径等。假设x⁽ⁱ⁾本质上是n维的空间的一个元素，其中n<<m，但是n对我们来说是未知的。假设xⁱ和x^j分别代表车以英里和公里为单位的最大速度。显然这两个属性是冗余的，因为它们两个是有线性关系而且可以相互转化的。因此如果仅以xⁱ和x^j来考虑的话，这个数据集是属于m-1维而不是m维空间的，所以n=m-1。推广之，我们该用什么方法降低数据冗余性呢？

首先考虑一个例子，假设有一份对遥控直升机操作员的调查，用x⁽ⁱ⁾₁（1是下标，原谅我这操蛋的排版吧）表示飞行员i的飞行技能，x