主成分分析法（1）

1.介绍：

主成分分析法是一种数据转换的技术，当我们对一个物体进行衡量时，我们将其特征用向量（a1,a2,a3,...an）进行表示，每一维都有其对应的variance（表示在其均值附近离散的程度）；其所有维的variance之和，我们叫做总的variance；我们对物体进行衡量时，往往其特征值之间是correlated的，比如我们测量飞行员时，有两个指标一个是飞行技术（x1）,另一个是对飞行的喜好程度（x2），这两者之间是有关联的，即correlated的。我们进行PCA（主成分分析时），我们并没有改变维数，但是我们却做了如下变换，设新的特征为（x1,x2,x3...,xn）;

其中

1)x1的variance占总的variance比重最大；

2)除去x1,x2的variance占剩下的variance比重最大；

....

依次类推；

最后，我们转换之后得到的(x1,x2,...xn)之间都是incorrelated，我们做PCA时，仅取（x1，x2,....xm）,来表示我们测量的物体，其中，m要小于n。

注意，当（a1,a2,a3,...an）之间都是incorrelated时，我们就没有做PCA的必要了