PCA降维之后的样本,其协方差矩阵为对角矩阵。

我们知道PCA降维的目标函数是尽可能地保留原始样本X中的方差信息。

所以降维后样本的协方差矩阵其对角线上元素尽可能得大我是理解,并认可的。

但为什么非对角线元素均为零呢?

降维之后的样本,各个维度之间的相关性完全被切除了。

以下是实验code

降维前 

样本协方差矩阵:

可以看到d1和d2关系不大,但d1和d3关系密切;d2和d3关系也不大;

降维后:

样本的协方差矩阵:

 

 

所以,为啥非对角线上的元素为0呢?

难道是因为特征向量是正交的?

 

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PCA降维中,我们希望找到一个新的坐标系,使得在这个新的坐标系下,样本数据的方差尽可能大,同时不同维度之间的协方差尽可能小。 具体来说,对于一个样本集合,我们可以将其表示为一个矩阵X,其中每一行表示一个样本,每一列表示一个特征。我们希望将这个矩阵X投影到一个新的坐标系上,得到一个新的矩阵Y,其中每一行表示一个样本,每一列表示一个新的特征。我们希望新的特征是原始特征的线性组合,即Y=W*X,其中W是投影矩阵。为了使得投影后的数据方差尽可能大,我们希望投影后的数据在每一个新的特征维度上的方差都尽可能大,即最大化投影后数据的协方差矩阵,也就是新特征矩阵Y的协方差矩阵。而我们知道,协方差矩阵的对角线元素表示该特征在样本中的方差,因此我们希望新特征矩阵的协方差矩阵中的对角线元素尽可能大,即新特征矩阵的每个新特征方差尽可能大。 另外,我们希望不同维度之间的协方差尽可能小,这可以保证新特征矩阵的各个新特征之间不会有重复信息,即新特征矩阵中的不同新特征对于样本的区分能力更强。因此,我们希望新特征矩阵的协方差矩阵中的非对角线元素尽可能小,即不同新特征之间的协方差为0。 综上所述,我们希望投影后的数据在新特征矩阵的每个新特征方差尽可能大,而不同新特征之间的协方差尽可能小,这就是为什么我们希望协方差矩阵中方差尽可能大,协方差为0的原因。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值