PCA降维深入理解

网上资料非常多,大部分都是讲先求协方差,协方差怎么求的,但是没有讲为什么要求协方差,为什么要选特征值最大的特征,特征值最大到底代表了什么含义。

简单回忆:

        计算协方差到底是选行还是选列呢,记住协方差矩阵是计算不同维度间的协方差,不是两个样本间的,所以我们求协方差的目的就是计算不同纬度之间的相关性,并选出特征值最大的前多少个纬度,把特征值小的纬度去掉,起到一个降维的作用

PCA定义: ,表示特征列X 与 特征列Y之间的相关性。

假设刚开始有一堆如下所示的数据

这堆数据的协方差矩阵就是一个单位矩阵 \sum =\begin{vmatrix} 1 &0 \\ 0&1 \end{vmatrix} 

如果我们想把这样一堆数据变成如下所示,此时协方差矩阵已经变成\begin{bmatrix} 3 & 2 \\ 2 & 3 \end{bmatrix},而这个矩阵的特征值为1和5 特征向量分别为[-1,1] 与 [1,1], 标准正交基为[-1/2,1/2] 与 [1/2,1/2],下图可以看做是上图经过了旋转与缩放两个变换而来,D` = RSD,R为旋转矩阵,S为缩放矩阵,因为S^{\\T}=S 且 R^{\\T}=R^{\\-1}(S为对角矩阵、R为正交矩阵),所以D`的协方差矩阵为RSSR^{\\-1} (D`减去均值乘以D`的转置再除以N-1),另一方面通过对协方差矩阵进行特征值分解可以得\sum = VL^{\\-1}V,V为特征向量,L为特征值,对L开根号,即L=SS,\sum = VL^{\\-1}V=RSSR^{\\-1},所以说特征向量就是对图像做一个旋转的操作,而特征值就是做一个缩放的操作。

从另一个角度来看N个特征向量就是N个标准正交基,而特征值的模则代表矩阵在每个基上的投影长度。特征值越大,说明矩阵在对应的特征向量上的方差越大,功率越大,信息量越多。

最大特征值对应的特征向量,总是指向数据最大方差的方向,并由此确定其方位。次特征向量总是正交于最大特征向量

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值