pca的目标是通过基变换 使得元素的方差从大到小排列 并且元素之间的协方差为0(线性无关)。而元素的协方差
矩阵的对角线上是元素的方差 ,对角线外的元素是协方差。
我们的目标就是 找到单位正交基,使得通过基变换后 ,元素的方差从大到小排列 而不同元素的协方差为0 。元素的协方差矩阵 和经过基变换后的协方差矩阵关系如下
原数据为X X的协方差矩阵为C Y=PX P为变换矩阵 Y为变换后的元素 D为Y的协方差矩阵
就是要使得C经过P变换后 变成的D为一个对角线上按从大到小排列 ,对角线外元素为0的矩阵 C是一个实对称矩阵
所以P就是按特征值从大到小排列C的特征矩阵