主成分分析 PCA

基本思路

方差代表数据的信息，方差越大代表数据的信息量越大、所以将最大方差作为第一主元。

 

PCA的最大投影方差的角度

我们令最大投影的方向为u。那么u必须满足即

将每个xi中心化 

令损失函数J为（注意  括号里面的式子是个实数）

那么有

S为样本的协方差，S为实对称矩阵，特征值分解就为奇异值分解

求J的最小值   用拉格朗日乘子法

结果显示   u方向为S的特征向量

 

 

PCA的最小重构代价角度

选取最大的q个，ui作为新的坐标基 则新的坐标基下的坐标为

将x1在没有选为坐标基向量ui上的投影的和作为损失函数

即

交换左右求和符号 有

求此函数的最小值    同样用拉格朗日乘子法 求解

 

 

奇异值分解 SVD分解角度

H是第一部分推导出来的中心矩阵

从 奇异值的角度理解

将奇异值分解为其中

那么