简述PCA主成分分析

步骤 1.构造协方差矩阵

         2.计算特征值和特征向量(可以调用ipp函数求解)

假设为三维的，构造的协方差矩阵为

       参照该链接  http://www.cnblogs.com/chaosimple/p/3182157.html

下面的例子为转载的

例 1：长子的头部衡量 

 
下面的数据给出了在抽样中的 25 对长子头部的衡量。 
长子 
头长（x1）  头宽（x2） 
191  155 
195  149 
181  148 
183  153 
176  144 
208  157 
189  150 
197  159 
188  152 
192  150 
179  158 
183  147 
174  150 
190  159 
188  151 
163  137 
195  155 
186  153 
181  145 
175  140 
192  154 
174  143 
176  139 
197  167 
190  163 
  对于这些数据变量 x1,x2 的均值为 185.7 和 151.1，协方差矩阵为 ,  

下图 1 给出了点(x1,x2)的散点图。主成分方向轴 z1,z2 表示，以 x1 和 x2 的均值为中心。
线 z1 是这些数据的第一个主成分的方向。这是一条捕获在数据中的大多数变化的直线，如
果我们决定把数据的维数从 2 减少到 1。如果我们这些数据集中的点正交投影到 z1 轴，得
到 25（一维）个值，在所有可能的线中，这条直线 z1 的方差值会最大。同时它也是从这条
直线垂直的距离的平方和的最小值。（利用 Pythagoras 定理说明原因。这条直线和直线 x1
或 x2 如何的不同？）z2 轴和 z1 轴相垂直。 
轴的方向由 S 的特征向量给出。对我们的例子特征值是 131.52 和 18.14。最大的特征值
对应的特征向量为（0.825,0.565），给出了 z1 轴的方向。和小的特征值对应的特征向量是

（-0.565,0.825），这是 z2 轴的方向。