基本思路
方差代表数据的信息,方差越大代表数据的信息量越大、所以将最大方差作为第一主元。
PCA的最大投影方差的角度
我们令最大投影的方向为u。那么u必须满足即
将每个xi中心化
令损失函数J为(注意 括号里面的式子是个实数)
那么有
S为样本的协方差,S为实对称矩阵,特征值分解就为奇异值分解
求J的最小值 用拉格朗日乘子法
结果显示 u方向为S的特征向量
PCA的最小重构代价角度
选取最大的q个,ui作为新的坐标基 则新的坐标基下的坐标为
将x1在没有选为坐标基向量ui上的投影的和作为损失函数
即
交换左右求和符号 有
求此函数的最小值 同样用拉格朗日乘子法 求解
奇异值分解 SVD分解角度
H是第一部分推导出来的中心矩阵
从 奇异值的角度理解
将奇异值分解为其中
那么