关于主成分分析PCA中SVD算法的理解

已于 2022-12-02 10:33:38 修改
阅读量217 收藏 1
点赞数 1
文章标签： 算法 人工智能
于 2022-12-02 10:28:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56448912/article/details/128143652
版权

1.将空间中的数据集X变换坐标系以找到合适的特征空间，即乘以一个特征空间空间矩阵V*

2.在合适的特征空间中以乘以对角矩阵（单位矩阵）∑的方式进行数据的降维（在合适的特征空间中数据集矩阵除对角数据外的数据都很小，可以均视为0，即降维）
3.将降维后的数据还原到原来的空间，即乘以特征空间矩阵的逆U，实现类似于微积分的方法，将数据放到合适的空间中进行降维压缩再还原到原来的空间，降维不会丢失数据但压缩会，因为不一定能找到绝对的特征空间以精确降维成对角矩阵，故取近似并压缩以省略掉对角外的数据，从而达到近似降维，找到的特征空间也是近似的特征空间 

4.得到的近似的特征空间为分析后的重点
ps：如果不进行压缩，那么原数据集只进行成分分析而不是”主“成分分析，原数据空间值X不会变为图中右上角的依据主成分即保留矩阵对角线数据的降维压缩结果，而是不变（即图中M值为1）

hicricket
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
svd算法matlab代码-pca:主成分分析
05-27
PCA（主成分分析，Principal Component Analysis）是一种常用的数据降维技术，它通过线性变换将原始数据转换到一个新的坐标系中，新坐标系中的各坐标轴是原数据集中变量的线性组合，这些坐标轴按照解释数据方差的...
奇异值分解（SVD）与 主成分分析（PCA）
weixin_44885334的博客
04-26 1008
线性映射 线性映射同构于矩阵乘。线性空间的一组基α=(α1,⋯ ,αn)\alpha=(\alpha_1, \cdots, \alpha_n)α=(α1​,⋯,αn​)，一个点的坐标为x=(x1,⋯ ,xn)x=(x_1,\cdots,x_n)x=(x1​,⋯,xn​)，那么点可以记做两者内积α⋅x=∑i=1nxiαi\alpha \cdot x = \sum_{i=1}^{n} x_i\alpha_iα⋅x=∑i=1n​xi​αi​。注意，基不一定是向量，可以是任何线性无关的对象（比如，三角函数）。 线性
奇异值分解(SVD)与主成分分析(PCA)
伍六七的博客
11-30 2453
奇异值分解(SVD)与主成分分析(PCA) 1 算法简介 奇异值分解（Singular Value Decomposition），简称SVD，是线性代数中矩阵分解的方法。假如有一个矩阵A，对它进行奇异值分解，可以得到三个矩阵相乘的形式，最左边为m维的正交矩阵，中间为m*n 的对角阵，右边为n维的正交矩阵： A=UΣVTA=U\Sigma V^{T}A=UΣVT 这三个矩阵的大小如下图所示： 矩阵...
【机器学习】主成分分析（PCA）——利用奇异值分解（SVD）（理论+图解+公式推导）
CSDN 精品推荐
08-15 3643
文章目录一、概述二、SVD奇异值分解1.Av=σuAv=\sigma uAv=σu 公式2.矩阵分解3.将结果进行降维3.1 行压缩数据降维3.2 列压缩数据降维3.3 矩阵整体压缩数据降维 欢迎回到机器学习编程系列。在这篇文章中，我们将讲解使用奇异值分解进行PCA降维处理。废话不多说，我们开始吧。 一、概述 之前讲了一种方法叫做特征值分解，它是将我们的协方差矩阵进行分解，但是这时会有一定的约束条件才可以进行分解 必须是方阵 能够被对角化 这两个要求是相对来说较高的，对于协方差矩阵是方阵，而且是
【机器学习】 奇异值分解 （SVD） 和主成分分析 （PCA）
gongdiwudu的专栏
07-27 3862
在机器学习 （ML） 中，一些最重要的线性代数概念是奇异值分解 （SVD） 和主成分分析 （PCA）。收集到所有原始数据后，我们如何发现结构？
机器学习——数据降维——主成分分析（PCA）和奇异值分解（SVD）
huangguohui_123的博客
04-18 6820
一、主成分分析（PCA） 主成分分析，Principal Component Analysis (PCA)，是现代数据分析的标准工具，它可以把庞大复杂的高维数据集，通过数学变换，转化成较低维度的数据集，并去除掉维度之间的相关性。 1、PCA原理 主成分分析的原理非常简单，概括来说就是选择包含信息量大的维度，去除信息量少的“干扰”维度。 注意：这边所谓的“维度”不是原始数据的某个特征，而是原...
主成分分析PCA与奇异值分解SVD1
08-04
PCA（主成分分析）和SVD（奇异值分解）是两种常见的降维技术，它们在数据分析和机器学习中扮演着重要角色。降维是将高维数据转换为低维表示的过程，以减少计算复杂性、提高模型解释性和可视化能力。 1. 维度的理解...
pca.zip_PCA SVD_SVD-pca_SVD分析_pca_主成分分析
07-13
SVD-PCA是PCA的一种实现方法，通过SVD来执行主成分分析。在SVD中，矩阵的列向量表示数据的左奇异向量，行向量表示右奇异向量。当对数据矩阵进行SVD后，主成分可以由奇异值的大小决定，因为它们对应了原始数据的方差...
具体介绍sklearn库中：主成分分析（PCA）的参数、属性、方法
12-22
PCA（主成分分析）是一种广泛应用于数据降维的统计学方法，它的目标是将高维数据转换为一组线性不相关的低维表示，即主成分。这些主成分是原始特征的线性组合，且彼此正交，从而保留了数据的主要信息。在Python的...
pca_ica_ICA_PCA奇异_主成分分析pca_PCA_ICA_
10-02
PCA（主成分分析）和ICA（独立成分分析）是两种常用的数据降维和特征提取方法。在数据分析和机器学习领域，它们被广泛应用于处理高维度数据，以减少数据的复杂性，同时保持数据的主要信息。 PCA是一种线性变换技术...
通过奇异值分解进行主成分分析：显示 PCA 与 SVD 的关系-matlab开发
05-29
此示例说明主成分分析如何与奇异值分解相关。
主成分分析方法(PCA)详述 以及 为什么要用SVD？
越努力 越幸运
03-29 6557
目录 概述 最大方差理论 1.3 PCA算法总结及奇异值分解应用 1.3.1基于特征值分解协方差矩阵 1.3.2 基于奇异值分解协方差矩阵 为什么要用SVD进行降维？ 1.4 PCA总结 参考文献 概述 PCA(Principal Component Analysis)，即主成分分析方法，也称为主分量分析，是一种使用最广泛的数据降维算法。PCA通过线性变换将原始数据（n维...
SVD奇异值分解与PCA主成分分析
最新发布
qq_35215756的博客
04-18 359
奇异值分解（singular value decomposition, SVD），将矩阵分解为奇异向量（singular vector）和奇异值（singular value）。PCA主成分分析
PCA 主成分分析 奇异值分解
yangyangyang20092010的专栏
01-05 3707
奇异值与主成分分析（PCA） 【转载】原文出处：http://blog.sina.com.cn/s/blog_4b16455701016ada.html   PCA的问题其实是一个基的变换，使得变换后的数据有着最大的方差。方差的大小描述的是一个变量的信息量，我们在讲一个东西的稳定性的时候，往往说要减小方差，如果一个模型的方差很大，那就说明模型不稳定了。但是对于我们用于机器学习的数据（主要
主成分分析（PCA）与奇异值分解（SVD）
u011489887的专栏
12-06 782
1.主成分分析（PCA） 基变换的矩阵表示 这里要注意的是，我们列举的例子中基是正交的（即内积为0，或直观说相互垂直），但可以成为一组基的唯一要求就是线性无关，非正交的基也是可以的。不过因为正交基有较好的性质，所以一般使用的基都是正交的。下面我们找一种简便的方式来表示基变换。还是拿上面的例子，想一下，将(3,2)变换为新基上的坐标，就是用(3,2)与第一个基做内积运算，作为第一个新的坐标分...
奇异值分解(SVD)与PCA(主成分分析)
weixin_43972621的博客
09-10 6983
奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统(稍后讲解)，以及自然语言处理等领域，是很多机器学习算法的基石。下面将从SVD的原理、SVD的推导、分析SVD与PCA之间的关系等进行讲解，一步步到最后的推荐系统。 一、SVD原理 1.1 SVD定义 若A是一个m*n的矩...
PCA(主成分分析) 和 SVD（奇异值分解）
羊老羊
11-01 1881
2021.10.31 强烈推荐： PCA：https://www.bilibili.com/video/BV1E5411E71z SVD: https://www.bilibili.com/video/BV16A411T7zX 本文大多数图均出自这个UP主：同济小旭学长，希望关注一下 参考文章： 方差：https://blog.csdn.net/wistonty11/article/details/121058645 用
奇异值分解(SVD)和主成分分析(PCA)（讲解很清楚明了）
飘过的春风
05-03 5197
奇异值分解(SVD)原文链接：http://www.cnblogs.com/pinard/p/6251584.html主成分分析(PCA)原文链接：http://www.cnblogs.com/pinard/p/6239403.html
奇异值分解（SVD）和主成分分析（PCA）
热门推荐
芦金宇的专栏
10-29 1万+
矩阵的奇异值是一个数学意义上的概念，一般是由奇异值分解（Singular Value Decomposition，简称SVD分解）得到。如果要问奇异值表示什么物理意义，那么就必须考虑在不同的实际工程应用中奇异值所对应的含义。 奇异值往往对应着矩阵中隐含的重要信息，且重要性和奇异值大小正相关。每个矩阵都可以表示为一系列秩为1的“小矩阵”之和，而奇异值则衡量了这些“小矩阵”对于的权重。奇异值
"主成分分析PCA与奇异值分解SVD的降维算法及可视化
主成分分析（PCA）和奇异值分解（SVD）是常用的降维算法，用于处理高维数据的特征提取和数据压缩。维度在数学和计算机领域中通常指的是数据的特征数量或维度数量，可以理解为数据的属性个数或数据集的列数。降维的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值