pca主成分分析_PCA主成分分析(中)

a5064a2b33031865ad10e4c1d8dcb9d6.png

矩阵——MATRIX,很容易让人们想到那部著名的科幻电影——《骇客帝国》。事实上,我们又何尝不是真的生活在MATRIX中。机器学习处理的大多数数据,都是以“矩阵”形式存储的。   矩阵是向量的组合,而一个向量代表一组数据,数据又是多维度的。   比如每个人的都具有身高、体重、长相、性情等多个维度的信息数据,而这些多维度信息数据就构成了一个人的信息向量。多个人的信息组合在一起,构成了一个信息矩阵。我们也把它称为样本。   然而事实中我们遇到的信息维度往往是非常庞大的,所以就需要摒弃次要信息,保留主要信息。   那么我们如何根据现有样本数据,决定该保留身高、体重、长相、性情中的哪些特征信息呢?   其中身高和体重是关联比较大的,而长相、性情两方面特征与其他特征几乎无关联。   从直觉上来讲,数据之间关联的程度越大,越容易“牵一发而动全身”,这种统一的“联动”能够,从另一个角度,用较少的信息说明较重要的问题。   所谓降维,就是把这些“联动”的高维信息尽量压缩在一个低维信息内,我们叫它“主成分”。   而协方差矩阵,代表了多维信息之间相互关联程度。 我们从信息之间的关联程度出发,压缩关联程度高的信息并尽量保持原特征(去关联),摒弃不相关的信息(去冗余)。

  举个极端的例子,我们制作出这样一组数据:身高和体重存在简单的线性关系(正比关系),而相貌不受身高、体重的任何影响。如下图所示

4503c09984714ecc7eeacbd1cdc7cc6f.png 

那么现在,我们计算取得上述信息矩阵A的其协方差矩阵C,如下图所示

3cefb6d64ac3151315235f3c02380f70.png

不出意料,体重和相貌、身高和相貌之间的协方差值为0。再根据这个这个协方差矩阵C分解特征值,得出以下两个矩阵,一个为包含特征值的对角矩阵D,一个为特征值对应的特征向量所形成的矩阵X

协方差矩阵的特征值所构成的对角矩阵D:

6f28266bf0619504bb2535f9483ba192.png

所对应的特征向量所组成的特征矩阵X:

cb96198804fcb320955e2c05950f0a1f.png

从上面两张图可以看出,特征值从大到小的顺序为:

77.8542895 >> 0.12487716 >> 0

显然协方差矩阵C为对称矩阵,所以根据线性代数的相关知识,矩阵C及其特征矩阵X以及特征值对角矩阵D之间,有如下关系:

fbd4e554984e147742c643764e42a49d.png

我们看出特征值类似于一种“能量”,能量越大的特征值,对矩阵的“贡献”相对越大。特征值为0或几乎为0的那部分乘积项,可以被忽略掉。

在此我们只保留最大的特征值所对应的特征向量Y,这个向量Y作为压缩数据的方向

通过向量Y,用以下方式将原来的3维数据压缩为1维数据

bcbefbd2c9f9361efcb81b6d8161c286.png

P就是我们压缩后的信息,它映射一个唯一的主成分P1

下图显示了压缩前后样本数据和主成分的变化关系

l h代表身高数据

l w代表体重数据

l a代表长相数据

p1就是压缩后的主成分上的投影数据

452daad49ffe46ea84f3b018935b414c.png

从图中可以看出:

 1. 压缩的后主成分p1和几乎保留了身高h的变化规律,

 2. 体重w与h为正比关系。故此,w,h贡献给了主成分p1,

 3. 长相a作为冗余数据被过滤掉。

那么为什么我们选择协方差矩阵最大特征值所对应的特征向量,就刚好能够使我们抽取原信息矩阵中的主成分呢?下一篇我们将阐述PCA降维的原理和依据。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值