机器学习算法(四)之PCA降维算法理论

PCA降维又称为主成分分析法,顾名思义找到数据中的主要成分,用数据的主要特征对数据进行限定。举一个直接的例子如下:
1.在以下的红色,绿色,蓝色三份样本中有很多的点,每一个点在平面直角坐标系中有它自己的(x,y)坐标,因此相当于样本点具有二维的约束,对计算机来说,数据的维度越到,存储需要的计算空间越大,同时容易造成过拟合。
在这里插入图片描述2.PCA降维的核心就是通过某种数学上的映射关系,将原本高维空间中的样本进行低维空间的映射,进行保证数据的特征性质不变,如下图中所示,将原本空间的中四个点在u1直线上做投影,因此进行四个点的描述可以使用u1直线上的相对位置。因此将原本(x,y)转换为ρ的极坐标形式,因为在同一条直线上,因此辅角相同,因此确定ρ即可对数据进行分类。
在这里插入图片描述3.PCA降维的作用:
1)防止数据进行过拟合,数据中会有一定的噪声点,如果对其进行降维可以,减少异常点的影响。
2)将高维度的样本映射为地低维度空间中,可以有效的加快计算的速度
3)PCA降维一般很少单独使用,一般作为数据预处理部分。
4.PCA降维的算法计算步骤:
1)对数据样本矩阵进行BN归一化
2)计算协方差矩阵
3)对协方差矩阵进行特征特征向量的计算与特征值得求取,降低的维度为求取特征值得个数。将求得的特征向量重新组合成矩阵完成数据降维度。
AI学习的道路上,一起学习进步~

展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 深蓝海洋 设计师: CSDN官方博客
应支付0元
点击重新获取
扫码支付

支付成功即可阅读