SVD与PCA的联系

最新推荐文章于 2020-07-03 16:11:34 发布
最新推荐文章于 2020-07-03 16:11:34 发布
阅读量449 收藏
点赞数
分类专栏： 数学 文章标签： 数学 MachineLearning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/littlehaes/article/details/79350361
版权

Welcome To My Blog

最主要的一点:

  • 对矩阵进行PCA降维,一般是通过SVD实现的,而不是去计算原矩阵特征的协方差矩阵.
  • 当前数据为p*n的矩阵X,n个样本,每个样本维度为p
    • SVD: Xpn = UΣV^t
    • PCA: Xpn = App^t*Ypn (A是正交矩阵,由p个特征的协方差矩阵的单位特征向量构成;Y是在新维度下的数据表示)
  • 将SVD与PCA联系起来
    • SVD: X*X^t = U*Σ*Σ^t*U^t (一)
    • PCA: X*X^t = A^t*Y*Y^t*A (二)
    • 重点来了
      我们可以看到,SVD和PCA的X*X^t展开式形式非常像!
      不妨令 A^t = U,代回原X表达式
      X = U*Σ*V^t = A^t*Y
      可得 Y = Σ*V^t
      这说明只需一次SVD计算就可得到对应PCA的正交矩阵和在新维度下的数据Y, 稳!

矩阵形式:

在默认列向量这种表示方法下,α^t*β是标量(scalar),得敏感
attention.jpg

Welcome To My Blog

littlehaes
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SVD和PCA详细原理以及联系（包含公式推导）
Yuchao_research
03-30 2469
初始假设 假设X∈Rn×dX \in R^{n \times d}X∈Rn×d，即为nnn个样本，ddd维的矩阵，将每个数据矢量的条目合并，使得XiT=(Xi1,…,Xid)X_i^T = (X_i1, \ldots, X_id)XiT​=(Xi​1,…,Xi​d)。 在将这些向量放入数据矩阵之前，我们实际上会减去数据的平均值，即：μ=1n∑i=1nXi=(∑i=1nXi1,…,Xid)T\mu ...
从PCA和SVD的关系拾遗
DarkScope从这里开始
11-13 4万+
从PCA和SVD的关系拾遗最近突然看到一个问题，PCA和SVD有什么关系？隐约记得自己照猫画虎实现的时候PCA的时候明明用到了SVD啊，但SVD（奇异值分解）和PCA的（特征值分解）貌似差得相当远，由此钻下去搜集了一些资料，把我的一些收获总结一下，以免以后再忘记。PCA的简单推导PCA有两种通俗易懂的解释，1)是最大化投影后数据的方差(让数据更分散)；2)是最小化投影造成的损失。这两个思路最后都能推
PCA和SVD区别和联系
热门推荐
Alex.W.的机器学习之路
02-07 5万+
前言： PCA(principal component analysis)和SVD(Singular value decomposition)是两种常用的降维方法，在机器学习等领域有广泛的应用。本文主要介绍这两种方法之间的区别和联系。 一、PCA:    PCA的中文名叫做主成分分析，是降维和去噪的一种重要方法。PCA选取包含信息量最多的方向对数据进行投影。其投影方向可以从最大化方差或者最小化投
PCA与SVD的关系
ningyanggege的博客
11-30 851
              SVD并不要求是方阵，而PCA必须要求是方阵，所以会PCA必须计算协方差矩阵，计算量大，且会出现数值溢出；
PCA与SVD的区别和联系
勤学如春起之苗，不见其增，日有所长
12-12 1950
因为之前在做PCA的时候，就直接用的SVD求解，以为SVD属于PCA的一部分，看了一下两篇博文，有一定收获。注意，左奇异向量和右奇异向量是针对数据X而言的： 注意到协方差矩阵的特点：实对称，且大小为 D * D，D为数据X的维度。 因此，当X每一行为一个样本，对应协方差矩阵为，X.T * X，需要求左奇异向量U，并且取其前k个，则压缩后的单个样本为 Uk.T*X 反之，求右奇异向量。 PCA：从最...
图像压缩_SVD_pca_图像压缩_
09-30
总结来说，SVD与PCA在图像压缩中的应用是利用数学手段挖掘图像数据的主要特征，以实现高效且质量可接受的图像压缩。这种方法对于大数据处理、网络传输和存储具有显著优势，但同时也需要对算法参数进行精细调整以达到...
1_SVD_pca_python_图像压缩_
10-02
本话题主要探讨了两种常见的矩阵分解方法——主成分分析(PCA)和奇异值分解(SVD)在图像压缩中的应用。我们将详细解析这两种方法以及如何在Python中实现它们。 1. **主成分分析(PCA)**: PCA是一种统计学方法，通过...
基于SVD分解的PCA降维图像重建MATLAB仿真+仿真操作录像
10-17
1.版本：matlab2021a，我录制了仿真操作录像，可以跟着操作出仿真结果 2.领域：PCA降维图像...3.内容：基于SVD分解的PCA降维图像重建MATLAB仿真,并输出不同降维程度的图像重建效果 4.适合人群：本，硕等教研学习使用
pca.zip_PCA SVD_SVD-pca_SVD分析_pca_主成分分析
07-13
PCA（主成分分析）是一种广泛应用于数据分析和降维的技术，其目标是将高维度的数据转换成一组线性无关的新变量，这些新变量被..."pca.m"文件提供了实现这一过程的代码，对于理解和实践PCA与SVD-PCA的概念非常有帮助。
理解PCA和SVD
LiuConey的博客
04-27 618
这篇文章推导的很好，由于复制过来太难看，所以这里记录个网址。 http://www.fuzihao.org/blog/2015/12/04/%E7%90%86%E8%A7%A3PCA%E5%92%8CSVD/
SVD与PCA的区别
m0_37957160的博客
07-03 2341
SVD与PCA区别 矩阵对向量的乘法，对应于该向量得旋转、伸缩。若对某向量只发生了伸缩而无旋转变化，则该向量是该矩阵的特征向量，伸缩比为特征值。 PCA用来用来提取一个场的主要信息（即对数据集的列数——特征进行主成分分析），而SVD一般用来分析两个场的相关关系。 PCA通过分解一个场的协方差矩阵（对特征），SVD是通过矩阵奇异值分解的方法分解两个场的协方差矩阵（特征、样本量）。 PCA可用于特征的压缩、降维（去噪），SVD能够对一般矩阵分解，可用于个性化推荐。同时也可以用于NLP中的...
PCA 和 SVD 原理区别
harry的博客
06-12 1222
最近无意中又看到了PCA和SVD，又有些新的想法。 PCA 和 SVD都是对数据进行降维，但是方法不一样。 PCA 是用特征向量来进行降维，但是很多只有方阵有特征向量。 SVD则更普遍一点，可以对一般的矩阵进行降维，本身就是一种矩阵分解方法...
PCA SVD LDA区别
weixin_43758551的博客
06-26 357
https://www.jianshu.com/p/00be0f73d1f5 https://www.cnblogs.com/zhusleep/p/9508790.html https://blog.csdn.net/qq_24464989/article/details/79834564 https://blog.csdn.net/Dark_Scope/article/details/5315...
PCA和SVD傻傻分不清楚？
learn process of Hanna
04-06 2万+
c以前学习PCA和SVD的时候都是分开学的，也只是记住了求解方法，对于原理理解一直处于懵圈状态，查看了别人的解释，也尝试自己总结一下。如果哪里理解错了，那就gg了 ​​PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。现在我们将数据抽象为一组向...
PCA与SVD学习之路
Potential
09-20 313
前言由于实验室课题中用到了PCA降维，而我之前对于pca的理解一直是不够深入。不能理解得分转换矩阵系数的大小和正负的意义。特征值的内在意义。所以现在仔细研究一下，以求对其有进一步的理解。 PCA（Principal Component Analysis）通过线性变化将原始数据变换为各维度线性无关的表示，可用于提取数据的主要特征向量，常用于数据的降维[1]。向量表示和投影我们知道，二维空间中的一点可
机器学习难点问题秒懂课堂
04-01
机器学习中有一些比较难以理解的问题，如支持向量机、过拟合、方差与偏差、降维、优化问题、概率模型等等，我们通过形象的方式、抽丝剥茧的思路把这些问题透彻讲解清楚，减少大家学习过程中的困难、苦恼，并且大幅度的减少时间成本。专栏会陆续发布简洁、明了的视频，循序渐进的逐一讲解。
SVD与PCA之间的关系详解
白马负金羁
03-01 1万+
PCA(principal component analysis)和SVD(Singular value decomposition)是两种常用的降维方法，在机器学习等领域有广泛的应用，而且二者之间还有着非常紧密的联系
如何实现基于SVD的PCA
最新发布
05-23
基于SVD的PCA（Principal Component Analysis）可以通过以下步骤实现： 1. 对数据进行中心化处理，即将数据的平均值减去每个样本的均值。 2. 计算数据的协方差矩阵。 3. 对协方差矩阵进行SVD分解，得到特征值和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值