二、机器学习基础7(PCA)

主成分分析(PCA )思想

(1)PCA 就是将高维的数据通过线性变换投影到低维空间上去。
(2)投影思想:找出最能够代表原始数据的投影方法。被 PCA 降掉的那些维度只能是那些噪声或是冗余的数据。
(3)去冗余:去除可以被其他向量代表的线性相关向量,这部分信息量是多余的。
(4)去噪声,去除较小特征值对应的特征向量,特征值的大小反映了变换后在特征向量方向上变换的幅度,幅度越大,说明这个方向上的元素差异也越大,要保留。
(5)对角化矩阵,寻找极大线性无关组,保留较大的特征值,去除较小特征值,组成一个投影矩阵,对原始样本矩阵进行投影,得到降维后的新样本矩阵。
(6)完成 PCA 的关键是——协方差矩阵。
协方差矩阵,能同时表现不同维度间的相关性以及各个维度上的方差。
协方差矩阵度量的是维度与维度之间的关系,而非样本与样本之间。
(7)之所以对角化,因为对角化之后非对角上的元素都是 0,达到去噪声的目的。对角化
后的协方差矩阵,对角线上较小的新方差对应的就是那些该去掉的维度。所以我们只取那些含
有较大能量(特征值)的维度,其余的就舍掉,即去冗余。

PCA 算法主要优缺点

降维的必要性及目的

降维的必要性:

多重共线性--预测变量之间相互关联。多重共线性会导致解空间的不稳定,从而可能导致结果的不连贯。

高维空间本身具有稀疏性。一维正态分布有 68%的值落于正负标准差之间,而在十维空间上只有0.02%。

过多的变量,对查找规律造成冗余麻烦。

仅在变量层面上分析可能会忽略变量之间的潜在联系。例如几个预测变量可能落入仅反映数据某一方面特征的一个组内。

降维的目的:

减少预测变量的个数。

确保这些变量是相互独立的。

提供一个框架来解释结果。关特征,特别是重要特征更能在数据中明确的显示出来;如果只有两维或者三维的话,更便于可视化展示。

数据在低维下更容易处理、更容易使用。

去除数据噪声。

降低算法运算开销。

KPCA 与 与 PCA  的区别

KPCA 用到了核函数思想,使用了核函数的主成分分析一般称为核主成分分析(Kernelized PCA, 简称 KPCA)。

过在高维空间进行协方差矩阵的特征值分解,然后用和 PCA 一样的方法进行降维。由于 KPCA 需要核函数的运算,因此它的计算量要比 PCA 大很多。

  • 4
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

满满myno

非常感谢对我创作的支持,爱你呦

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值