主成分分析 PCA

基本思路

方差代表数据的信息,方差越大代表数据的信息量越大、所以将最大方差作为第一主元。

 

PCA的最大投影方差的角度

我们令最大投影的方向为u。那么u必须满足

将每个xi中心化 

令损失函数J为(注意  括号里面的式子是个实数)

那么有

S为样本的协方差,S为实对称矩阵,特征值分解就为奇异值分解

求J的最小值   用拉格朗日乘子法

结果显示   u方向为S的特征向量

 

 

PCA的最小重构代价角度

选取最大的q个,ui作为新的坐标基 则新的坐标基下的坐标为

将x1在没有选为坐标基向量ui上的投影的和作为损失函数

交换左右求和符号 有

求此函数的最小值    同样用拉格朗日乘子法 求解

 

 

奇异值分解 SVD分解角度

H是第一部分推导出来的中心矩阵

从 奇异值的角度理解

奇异值分解为其中

那么

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值