Principal Component Analysis 主成分分析
地址:https://www.bilibili.com/video/BV1E5411E71z?spm_id_from=333.337.search-card.all.click
假设要保存二维的信息,由于降维考虑,期望只存储一个维度的信息(为了减少存储的信息量)
PCA是找到一个新的坐标系去存储一维信息。这个坐标系的原点落在数据的中心,坐标系的方向是往数据分布的方向上走,这样子就是降维了。
原始的数据点是蓝色的点,红色的点是蓝色的点投影到轴上的。这样通过某一些角度,只保留一维信息就能存储二维的信息量了(当然也存在信息损失,但此时目的是为了降维信息的情况下另信息损失度最小)
在上图就是很好的显示了,因为坐标点投影得比较分散,易于显示。
若发现投影后数据集中在一个点红色的斑点的话,说明没有保存多少信息,因为信息重合混淆了,数据不能很好地在新坐标系下区分开。
那怎么样才算好的坐标系呢?
具体步骤:
若没有去中心化直接找坐标系,就会:发现不了一个好的方向让数据投影在新坐标系上分散开来。
数学思想:
利用线代里的线性变化
拉伸操作:
比如这里,D是一个数据集,S表示拉伸的矩阵(为了实现数据拉伸的)
S左乘D之后,相当于把D上的数据点拉伸了。
旋转操作:
R就是个旋转矩阵,R左乘D后,让D旋转了某个角度。
白数据的处理:
拉伸,旋转有什么作用呢?
拉伸的时候,就说明了拉伸是方差最大的方向
旋转的时候决定了方差最大的方向的角度是多大
D’转化成原先矩阵D,就用各自的逆矩阵乘回来。
怎么求R呢
协方差的特征向量就是R
啥是协方差?
(此时是已经去中心化后的操作)
协方差矩阵是啥?
若x,y是不相关的话,那么cov(x,y)就是0
上图,
第一个小图就是x,y不相关
第二个小图就是x,y正相关(协方差大于0)
第二个小图就是x,y负相关(协方差小于0)
为什么是n-1?
(因为保证统计量的无偏性,保守估计比真实值偏大)
用白数据加上拉伸和旋转后,就得到D’
开始公示推导:(D’符合一般正态分布,可以标准化后与D一样的特性)
特征向量求解
(听不懂了呜呜呜啊啊)
总结了:
三维转二维就是找个二维平面然后投影,(让数据间方差最大的)
PCA和置信椭圆有什么关系?
(啥是置信椭圆???
置信椭圆基本上是对置信区域的描述方式,其长轴和短轴分别为置信区域的参数,置信椭圆的长短半轴,分别表示二维位置坐标分量的标准差(如经度的σλ和纬度的σφ)。
)
从白数据里面画了一个圆,(刚好有0.95的数据在圆内)拉伸旋转后成了一个圆,还是有0.95的数据点在椭圆里
与奇异值分解的关系