PCA（2）：PCA算法实现的两种方式

最新推荐文章于 2023-05-21 11:55:30 发布
最新推荐文章于 2023-05-21 11:55:30 发布
阅读量1.4k 收藏 10
点赞数 1
分类专栏： Machine Learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37957160/article/details/107108718
版权
本文介绍了PCA的两种实现方式：通过特征分解思路处理方阵协方差矩阵，以及使用SVD分解应对非方阵情况。强调了在大数据量下，PCA常借助SVD提高效率。并提供了SVD的理论链接及Numpy实现示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

因为样本个数和特征维度的是不相等de，所以组成的矩阵不是方阵。

第一种方式：特征分解思路（特征值分解要求分解的矩阵是方阵）

基于样本特征维度，先求协方差矩阵---->再特征分解（因为协方差矩阵是方阵，所以可以使用特征分解的思路）

第二种方式：SVD分解（SVD分解不要求矩阵是方阵）

SVD理论：https://blog.csdn.net/m0_37957160/article/details/107082668

任何矩阵都可以进行SVD分解。

事实上在数据量很大时，求协方差矩阵，然后在进行特征分解是一个很慢的过程，因此在PCA背后的实现也是借助奇异值分解</

了解本专栏 订阅专栏 解锁全文 超级会员免费看
浅谈PCA（2）
wbyang.cn
06-29 1698
        首先，抛开一切已有说法，用我自己的话说一遍，可能稍显寒碜。        PCA的主要目的是降维，这里涉及到几个问题：什么是降维？降维的标准是什么？怎样实现降维？        下面依次从这三个问题入手讨论。        （1）什么是降维？        这里维度的概念就不解释了。可以简单地将降维理解为：数据的维度越大，对于计算就越复杂，需要将高维数据表示在低维上
详解PCA（二）
zhfplay的博客
09-18 366
一、主成分的个数 上一篇文章《详解PCA》我们已经分析了如何计算各个成分的方向，并且能够将原样本矩阵投影到这个新的空间。但是，PCA的主要目的是降维，那么我们必须要面对的问题是：要选择几个主成分？当然我们可以用交叉验证去选取合适的主成分个数。然而，有没有更加值观的、快速的、简单的方法呢？答案是，有的！ 1、特征值的下降速率 如果我们将协方差矩阵所有的特征值按从大到小的顺序进行排列，并且显示在一张柱...
主成分分析（pca的两种实现）
HUIxihuanni的博客
05-09 3525
主成分分析（Principal Component Analysis，PCA）。在PCA中，数据从原来的坐标系转换到了新的坐标系，新坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是原始数据中方差最大的方向，第二个新坐标轴的选择和第一个坐标轴正交且具有最大方差的方向。该过程一直重复，重复次数为原始数据中特征的数目。我们会发现，大部分方差都包含在最前面的几个新坐标轴中。因此，我们可以...
PCA算法原理以及两种实现方式
qq_32582681的博客
08-02 1543
PCA降维的步骤： 设有m条n维数据。 1）将原始数据按列组成n行m列矩阵X 2）将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值 3）求出协方差矩阵 4）求出协方差矩阵的特征值及对应的特征向量 5）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P 6）PX即为降维到k维后的数据 如下链接是我觉得讲的比较好的pca降维的文章 https://b...
PCA主成分分析-scikitlearn和Numpy两种实现方法
Toby的博客
03-25 1066
''' PCA with the Iris dataset – manual example 使用Iris数据来示例PCA主成分分析，使用numpy手工实现和s cikit-learn中的PCA方式实现 ''' # import the Iris dataset from scikit-learn from sklearn.datasets import load_iris # import ...
PCA及其实现方法
最新发布
晓林爱学习的博客
05-21 746
其中,coefficients为PCA计算出的特征向量矩阵,k为所选取的主成分数量,X_centered为中心化后的原始数据,X_reduced为降维后的数据矩阵,X_recon为重构后的数据矩阵.主成分分析(PCA)是一种广泛使用的数据降维技术,它可以将高维数据转换为低维数据,同时保留原始数据的主要信息.在这些信息中,我们可以找到特征向量和特征值,它们可以描述数据的主要结构.其中X_centered为中心化后的数据,coefficients为计算出的特征向量,score为转换后的数据.
PCA:使用两种方法实现算法PCA
07-07
有两种主要的PCA实现方法：奇异值分解（SVD）和矩阵分解。 1. **奇异值分解（SVD）**： SVD是矩阵理论中的一个重要概念，它可以将任何矩阵A分解为三个矩阵的乘积：A = UΣV^T。其中，U和V是正交矩阵，Σ是对角矩阵...
PCA两种算法matlab+C++.zip_matlab_matlab+c++的PCA两种算法_pca c++实现
09-14
综上所述，这个压缩包中的MATLAB和C++代码为我们提供了PCA算法的两种实现方式，对于理解PCA的工作原理和动手实践具有很高的价值。无论是学术研究还是工业应用，掌握PCA的实现都有助于提升数据处理和分析的能力。
两种主成分分析（PCA）的python实现算法
06-27
在Python中，PCA的实现主要有两种方式：第一种是通过`sklearn.decomposition`库中的`PCA`类；第二种是通过手动计算，包括计算协方差矩阵、特征值和特征向量等步骤。 ### 1. 使用`sklearn.decomposition.PCA` `...
pca算法实现
03-25
PCA（主成分分析，Principal Component Analysis）...通过查看和学习这个文件，你可以更深入地了解PCA算法的具体实现和应用。记得在实际操作时，先理解数据的性质和目的，再选择合适的PCA参数，以达到最佳的降维效果。
主成分分析方法PCA（二）
MSFollower的博客
10-07 433
特征选择的目的： ①：降低特征空间的维度，使后续的分类器设计在计算上更容易实现； ②：为了消除特征之间可能存在的相关性，减少特征中与分类无关的信息，使新特征更有利于分类。 主成分分析方法： （1）算法的出发点是从一组特征中计算出一组按重要性从大到小排列的新特征，它们是原有特征的线性组合，并且相互之间是不相关的。 （2）算法实现思路： ①记为p个原始特征，设新特征是这些原始特征的线性组合： ...
机器学习笔记（十四）：主成分分析法（PCA）（2）
云布道师
07-05 1645
凌云时刻 · 技术导读：这篇笔记将继续讲解机器学习中经常用到的降维算法PCA及PCA降噪的作用。作者 | 计缘来源 |凌云时刻（微信号：linuxpk）高维数据向低维数据映射我们再来回...
【机器学习】PCA（主成分分析）（二）
mjiansun的专栏
08-26 561
（Principal Component Analysis）是常用的数据分析方法。PCA是通过线性变换，将原始数据变换为一组各维度线性无关的数据表示方法，可用于提取数据的主要特征分量，常用于高维数据的降维。
机器学习 - 如何交叉验证 PCA、聚类和矩阵分解模型
长风破浪会有时，直挂云帆济沧海
03-05 6856
机器学习 - 如何交叉验证 PCA、聚类和矩阵分解模型 [原文 - How to cross-validate PCA, clustering, and matrix decomposition models] 矩阵分解模型的交叉验证技巧，以 PCA 和聚类为例；并基于 Python 给于说明. 1. 线性回归的交叉验证 交叉验证是现代数据分析中的一种基础范式，普遍用于有监督的...
三种方法实现PCA算法(Python)
山阴少年
12-12 3630
三种方法来实现PCA算法
数据降维：主成分分析算法（PCA）
qq_51993749的博客
09-28 913
数据降维：主成分分析算法（PCA）
主成分分析法（PCA）原理和步骤
热门推荐
吴建明wujianming_110117
01-30 2万+
主成分分析法（PCA）原理和步骤 主成分分析（Principal Component Analysis，PCA）是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据，转换为一组线性不相关的变量，转换后的变量被称为主成分。 可以使用两种方法进行 PCA，分别是特征分解或奇异值分解（SVD）。 准备工作 PCA 将 n 维输入数据缩减为 r 维，其中 r<n。简单地说，PCA 实质上是一个基变换，使得变换后的数据有最大的方差，也就是通过对坐标轴的旋转和坐标原点的平移，
Python PCA(主成分分析法)降维的两种实现
ISHTAR的博客
01-12 1万+
PCA降维，一般是用于数据分析。它的作用是把一个高维的数据在保留最大信息量的前提下降低到一个低维的空间，从而使我们能够提取数据的主要特征分量，从而得到对数据影响最大的主成分，便于我们对数据进行分析。 假设下图是学生的各科成绩： 从上图，我们可以看出很明显的看出，数学、英语、物理这三门科目对于一个学生的总成绩的影响起着主要作用。对这三门学科计算期望E(x)和方差R(x)，再由这两个关系计算标准差，可以看出英语的标准差最小即离散性最小，数学的标准差最大即离散性最大。所以...
机器学习--主成分分析PCA算法：为什么去均值以后的高维矩阵乘以其协方差矩阵的特征向量矩阵就是“投影”？
离散优化
07-10 1340
原文链接：https://blog.csdn.net/special00/article/details/84071158 这是从网上看到的PCA算法的步骤：第一步，分别求每列的平均值，然后对于所有的样例，都减去对应的均值。第二步，求特征协方差矩阵。第三步，求协方差的特征值…显示全部 关注者 1,218 被浏览 78,113 关注问题写回答 ​添加评论 ​分享 ​邀请回答 ​ 22个回答 默认排序​ 至于t-SNE为啥牛， 这里给两个对比图片， 然后我们再回到PCA，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Upupup6

写手不易请留下你的打赏鼓励谢谢

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值