[线性代数] SVD 与 协方差矩阵

最新推荐文章于 2023-07-27 11:51:49 发布
最新推荐文章于 2023-07-27 11:51:49 发布
阅读量5.9k 收藏 14
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kuang_liu/article/details/16659403
版权
本文探讨如何利用Singular Value Decomposition (SVD)有效地计算协方差矩阵的特征值和特征向量。当面对高维度数据，如30万维的图像数据时，直接求解协方差矩阵的特征值是计算密集型任务。通过SVD，可以将大矩阵问题简化，U和V矩阵对应特征向量，对角矩阵D的元素为特征值的平方根。
摘要由CSDN通过智能技术生成

本文的目的是如何用 SVD 分解来简化求解协方差矩阵的特征值和特征向量。

给任何一个 m * n 的矩阵 X，数据按行排列，协方差矩阵 covMatrix 是 n * n 维的。如果 m << n，求一个巨大的 n * n 维矩阵的特征值和特征向量是很费时费力的。比如在将PCA 用于图片降维时，一个分辨率为 640 * 480 的图片 reshape 成一行时有30万维(640 * 480 = 307200)。协方差矩阵就是 30万 * 30万 维，这是很巨大的。求它的特征值和特征向量代价是很高的。

1. SVD 分解

对于任意一个 m * n 的矩阵的矩阵 X，总能分解成下面这种形式：

其中：
  1. U、V 是单位正定矩阵，即：
最低0.47元/天 解锁文章
kuang_liu
关注
  • 1
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SVD矩阵分解
weixin_65640518的博客
06-19 1366
SVD矩阵分解
利用SVD分解求解协方差的特征值以及特征向量--matlab
upcatcat的专栏
12-01 3976
[plain] view plaincopy clear; clc;      a = randi(10, 2, 3)      % svd decomposition   [U, D, V] = svd(a)      % eigen of a * a'   [E1, D1] = eig(a * a')      % eigen of a * a
PCA、SVD、协方差矩阵求解的关系和对比（例子说明）
babywong的专栏
12-10 8137
基本上看下面这个图就知道了，如果想要验证，可以接着看下面的数据计算实例。 源数据X： 9*20,  9个样本, 20维   源数据     平均值     数据中心化：     PCA方法求解 [PCA_coeff, PCA_score, PCA_latent] =pca(X)    //默认一行为一个数据样本，matlab自动进行数据中心化   PCA_co
PCA 通过 SVD 分解替代协方差矩阵的特征值分解
李威威的博客
04-15 2991
在周志华的《机器学习》第 10 章介绍“主成分分析”一节中，有这样一句批注： 实践中常通过对 X​X​X​ 进行奇异值分解来替代协方差矩阵的特征值分解。 下面解释这句话的意思。 首先我们复习一下，将任意形状的矩阵 XXX 如何进行 SVD 分解，其基本思路是构造对称矩阵。 XTX=(VΣTUT)(UΣVT)=VΣT(UTU)ΣVT=VΣTΣVT X^TX = (V \Sigma^T U^T)(...
协方差理解,PCA以及奇异值分解(SVD)
智障变智能
01-20 2181
import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import load_digits from sklearn.decomposition import PCA from mpl_toolkits.mplot3d import Axes3D digits = load_d...
试着解释一下SVD矩阵（知乎copy）
m0_38134868的博客
09-14 371
试着解释一下SVD矩阵：在我看来，SVD是对数据进行有效特征整理的过程。首先，对于一个m×n矩阵A，我们可以理解为其有m个数据，n个特征，（想象成一个n个特征组成的坐标系中的m个点），然而一般情况下，这n个特征并不是正交的，也就是说这n个特征并不能归纳这个数据集的特征。SVD的作用就相当于是一个坐标系变换的过程，从一个不标准的n维坐标系，转换为一个标准的k维坐标系，并且使这个数据集中的点，到这个新坐标系的欧式距离为最小值（也就是这些点在这个新坐标系中的投影方差最大化），其实就是一个最小二乘的过程。进一步，如
每天进步一点点《协方差矩阵的实践》.docx
09-14
这个是对 特征值和特征向量，以及SVD 的 学习总结。纯属是个人所学所记录，也想分享给初学者，给一定的指导。
广东工业大学线性代数试卷2017年
11-29
10. 概率论与统计学中的线性代数：线性代数也是概率论和统计学的基础，如协方差矩阵、主成分分析（PCA）等都离不开线性代数的工具。 通过这份试卷，学生不仅可以检验自己对这些概念的理解程度，还能通过解题训练...
线性代数2017原文
04-12
线性代数是数学的一个重要分支，它在现代科学和技术中扮演着不可或缺的角色，尤其...学习线性代数不仅能够增强数学思维，还对理解和应用各种高级算法至关重要，如机器学习中的主成分分析（PCA）、奇异值分解（SVD）等。
Python数据分析应用：线性代数模块.pptx
02-04
线性代数中的矩阵乘法是核心概念之一。在NumPy中，可以使用`numpy.dot()`函数或直接使用`*`运算符进行矩阵乘法。矩阵乘法不仅是基本的运算，而且在解决系统方程、计算协方差、主成分分析等问题中起着关键作用。例如...
利用Numpy的svd函数实现的PCA为什么是对协方差矩阵进行SVD分解
Blateyang的博客
06-17 3183
众所周知，PCA是数据分析中经常用到的一种方法，主要用途是对高维数据进行降维，有两大目的：去相关和去冗余。 其大致的原理是通过对数据协方差矩阵进行特征分解找到使数据各维度方差最大的主成分，并将原数据投影到各主成分上达到去相关的目的，若在投影到各主成分时，仅选取特征值最大的前若干个主成分，则可同时实现去冗余的目的。 上图的decorrelate data就是对原数据进行PCA去相关后的效果，...
重新解读协方差以及EVD/SVD
wonderseen的博客
10-14 772
这两天摸索随机森林做图像识别,对oob进行解读时,重新对线性代数进行梳理,发现了大家对矩阵性质的有趣解读,通俗易懂,我再次感受到数学的优美. 1: 一维协方差: cov(X,Y) = E( ( x - E(X) ) ( y - E(Y) ) ) 描述了变量之间的同/反向变化关系, 对于A和B单维变量, 如果A离散程度增大,B的离散程度也倾向于同时增大, cov
【数学基础】特征值，特征向量与SVD奇异值分解
zenRRan的博客
02-03 1686
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要5分钟跟随小博主，每天进步一丢丢资源获取链接！（该链接文末可获得知识图谱、python、DL、ML、NLP、C++、TensorFl...
【数学和算法】SVD奇异值分解原理、以及在PCA中的运用
u011754972的博客
10-18 1964
SVD奇异值分解
精简易懂，30 分钟学会 SVD 矩阵分解，很强！
小白学视觉
07-24 9037
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达 SVD(Singular Value Decomposition)奇异值分解分解是机器学习中最重要...
机器学习实战——SVD（奇异值分解）
for happy の road
03-31 1135
与PCA一样的学习过程，在学习SVD时同样补习了很多的基础知识，现在已经大致知道了PCA的应用原理，SVD个人感觉相对要难一点，但主要步骤还是能勉强理解，所以这里将书本上的知识和个人的理解做一...
主成分分析（PCA）原理详解
热门推荐
Microstrong
06-09 65万+
“微信公众号”本文同步更新在我的微信公众号里，地址：https://mp.weixin.qq.com/s/Xt1vLQfB20rTmtLjiLsmww本文同步更新在我的知乎专栏里面：主成分分析（PCA）原理详解 - Microstrong的文章 - 知乎https://zhuanlan.zhihu.com/p/377770741.相关背景在许多领域的研究与应用中，通常需要对含有多个变量的数据进行观...
【机器学习】 奇异值分解 （SVD） 和主成分分析 （PCA）
最新发布
gongdiwudu的专栏
07-27 3973
在机器学习 （ML） 中，一些最重要的线性代数概念是奇异值分解 （SVD） 和主成分分析 （PCA）。收集到所有原始数据后，我们如何发现结构？
PCA降维笔记
weixin_45883223的博客
09-29 3080
PCA（主成分分析）降维几个概念解释方差方差协方差协方差矩阵最大重构性去中心化过度拟合最大方差理论原理注意点步骤总结python例子numpy.mean 几个概念 解释方差 当有多个变量,分析单个变量与总方差的方差比。 方差 描述波动情况 协方差 x,y的相关性 协方差矩阵 最大重构性 找到一个超平面使得样本点在这个超平面的投影尽量分开。 去中心化 使数据满足均值为0，但对标准差没有要求。 过度拟合 欠拟合：如果一个算法没有很好的拟合数据，比如一个本应该用二次多项式拟合的数据用了线性去拟合，导致最后拟
sklearn的PCA是基于奇异值分解（SVD）协方差矩阵实现的，尝试理解并解释SVD的基本原理。
06-11
SVD是奇异值分解（Singular Value Decomposition）的缩写，它是一种线性代数中的矩阵分解方法，可以将一个矩阵分解为三个矩阵的乘积，即$A=U\Sigma V^T$，其中$A$是一个$m\times n$的矩阵，$U$是一个$m\times m$的正交矩阵，$\Sigma$是一个$m\times n$的对角矩阵，$V$是一个$n\times n$的正交矩阵。 SVD的基本原理是将一个矩阵$A$分解为三个矩阵的乘积，这个分解可以使得$U$和$V$中的列向量分别是$AA^T$和$A^TA$的特征向量，$\Sigma$中的对角元素是$AA^T$和$A^TA$的特征值的平方根。这样的分解使得$U$和$V$都是正交矩阵，$\Sigma$中的对角元素都是非负实数，从而方便了对矩阵的分析和处理。 SVD的应用非常广泛，例如在数据降维中，可以使用SVD对数据矩阵进行分解，从而得到一个低秩近似矩阵，用于减少数据的维度和冗余信息。在机器学习中，SVD也被广泛应用于推荐系统、图像处理等领域。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值