PCA的过程

操作流程:

1、去除平均值,让每一维特征减去各自特征的平均值

2、计算协方差矩阵

如果数据是三维的,那么协方差矩阵是这样的。主对角线上是方差,非对角线是两两元素的协方差。

协方差的绝对值越大,对彼此的影响就越大。

3、计算协方差矩阵的特征值与特征向量

4、对特征值从大较小的排序

5、选择最大的K个特征值,对应的特征向量

6、将数据转换到K个特征向量构建的新空间中。

具体做法是:

假设样例数为m,特征数为n,减去均值后的样本矩阵为DataAdjust(m*n),协方差矩阵是n*n,选取的k个特征向量组成的矩阵为EigenVectors(n*k)。那么投影后的数据FinalData为

 

对于协方差的计算有如下理解:

它计算的是不同维度之间的协方差而不是不同样本之间的。

如果两个变量同向变化,则为正,反向为负。

如果两个变量没有关联,则为零。

 

对于真实的样本中,可能会有多余的特征,或者相关的特征,里面存在一些噪声或者冗余,在这种情况下需要一种降维的方法,减少数据的冗余,减少过度拟合的可能性。

 

PCA的思想是将n维特征映射到k维空间上,这K维是全新的正交特征。这K维特征称为主元,是重新构造出来的k维特征,也就是对应k维空间的线性组合,而不是简单的从n维空间中,去除n-k维特征。

 

PCA理解的第一层境界:最大方差投影

求解方差最大,刚好是S的特征值和特征向量。

 

PCA理解的第二层境界:最小重建误差

重建,就是找到新的坐标基,在原来的基础上,减少一维或者多维,然后重建整个数据。

好比找一个新的角度去看问题。

那么目标就是最小重建误差:

在这个层次上,才把PCA看成是降维的工具。在第一层上,只是找主成分。

 

需要注意的是:在最后一步的操作中,为什么要选择去除均值:

1、首先,协方差矩阵的定义来看,是去平均的了。

2、将中心化的原始矩阵,投影到特征基准基上,去除数据的相关性。

 

 

  • 0
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

想做个自由的人

随缘吧打赏与否还是会坚持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值