奇异值分解笔记

已于 2022-03-30 15:42:02 修改
阅读量1k 收藏
点赞数
分类专栏： 张量分解 文章标签： 矩阵
于 2022-03-30 15:38:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FLawiet/article/details/123832732
版权

参考论文：Kalman D . A Singularly Valuable Decomposition: The SVD of a Matrix[J]. The College Mathematics Journal, 1996, 27(1):2-23.

1. 概述

对于任意实矩阵A_{m\times n}，，对其进行奇异值分解，表示为

A=U\Sigma V^T                                                                                                                  (1)

其中U_{m\times m}和V_{n\times n}是正交矩阵，\Sigma _{m\times n}是对角矩阵，且Σ中的非零元素\sigma _i在Σ 中的排列顺序是递减的，正数被称为A的奇异值，U和V的列向量分别被称为A的左奇异向量和右奇异向量。

为了形象地理解奇异值分解，可以把矩阵A_{m\times n}看做一次线性变换。下面插入讲解矩阵和线性变换之间的关系。

2. 矩阵和线性变换的关系

一个向量可以表示为由一组基向量线性组合而成，例如：

\begin{pmatrix} 2\\ 3 \end{pmatrix}=2\hat{i}+3\hat{j}=2\begin{pmatrix} 1\\ 0 \end{pmatrix} + 3\begin{pmatrix} 0\\ 1 \end{pmatrix}                                                                               (2)

其中\hat{i}=\begin{pmatrix} 1\\ 0 \end{pmatrix}和\hat{j}=\begin{pmatrix} 0\\ 1 \end{pmatrix}就是一组基向量。上面这个式子也可以简化为：

 

最低0.47元/天 解锁文章
观重青
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
随机奇异值分解：截断 SVD 的极快计算-matlab开发
06-01
我们经常想计算奇异值分解。 但大多数时候，我们实际上并不需要像主成分分析中那样的所有奇异向量/值。 这也证明了以下事实：在实践中出现的许多矩阵确实表现出某种结构，导致只有少数奇异值实际上是不可忽略的。 ...
数（1）奇异值分解(SVD)原理详解及推导（转）
tybAly的博客
04-12 2138
用SVD可以很容易得到任意矩阵的满秩分解，用满秩分解可以对数据做压缩。可以用SVD来证明对任意M*N的矩阵均存在如下分解（这个可以应用在数据降维压缩上！在数据相关性特别大的情况下存储X和Y矩阵比存储A矩阵占用空间更小！） 正交矩阵 正交矩阵是在欧几里得空间里的叫法，在酉空间里叫酉矩阵，一个正交矩阵对应的变换叫正交变换，这个变换的特点是不改变向量的尺寸和向量间的夹角，那么它到底是个什么样的变换呢？看下面这张图 假设二维空间中的一个向量OA，它在标准坐标系也即e1、e2表示的坐标是中表示为(a...
线性代数笔记31——奇异值分解
我是8位的
12-10 1649
　　原文 |https://mp.weixin.qq.com/s/HrN8vno4obF_ey0ifCEvQw 　　奇异值分解（Singular value decomposition）简称SVD，是将矩阵分解为特征值和特征向量的另一种方法。奇异值分解可以将一个比较复杂的矩阵用更小更简单的几个子矩阵相乘来表示，这些小矩阵描述的都是矩阵的重要的特性。奇异值分解在图形降噪、推荐系统中都有很重要的应...
奇异值分解和特征值分解
compression的专栏
02-15 603
matlab使用过程中，总会遇到这两种分解方式，而且文献里面有时候完成的目标相同，使用的分解方式确不一样，今天做个小测试，把这两种分解方式弄清楚一些。 clc; clear all; m=3;n=5; P=randn(m,n); P=P*diag(1./sqrt(diag(P'*P))); G=P'*P; [U1 V1]=eig(G) [U2 S2 V2]=svd(G)
奇异值分解
android开发笔记
05-26 1745
奇异值分解（SVD, singular value decomposition）是对矩阵最好的分解形式（前面介绍过矩阵的LU分解，对角化分解），它将某个矩阵A分解为正交矩阵（orthogonal matrix），对角矩阵（diagonal matrix）和正交矩阵相乘的形式，A可以是任意类型的矩阵，即任意矩阵都可进行这种奇异值分解。以前曾介绍过矩阵的对角化分解形式为，对于正定矩阵，由于一定满足对称...
机器学习：奇异值分解（SVD）详细讲解
Hanze的博客
11-14 2909
对于矩阵为高纬的情况下，那么这个矩阵就是高维空间下的一个线性变换，可以想像，这个变化也同样有很多的变换方向，我们通过特征值分解得到的前N个特征向量，那就对应了这个矩阵最主要的N个变化方向，我们利用这前N个变化方向，就可以近似这个矩阵（变换）。是一个对角矩阵，每一个对角线元素就是一个特征值，里面的特征值有大到小排列，这些特征值所对应的特征向量就是描述这个矩阵变化方向，（从主要的变化到次要的变化排序）。一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性变换。
计算方法速成笔记.docx
12-25
4. **矩阵与线性代数**：线性代数是计算方法的重要组成部分，包括矩阵运算、特征值问题、奇异值分解等。高斯消元法、LU分解、QR分解等用于求解线性方程组。 5. **误差分析**：了解误差来源和性质对于评估算法的精度...
MIT-线性代数笔记
03-22
奇异值分解（SVD）是矩阵的另一种重要分解形式，广泛应用于机器学习、图像处理和信号处理等领域。 八、线性代数在实际中的应用 线性代数的应用无处不在，包括计算机图形学（如3D建模和渲染）、机器学习（如PCA...
深度学习高数学习笔记
03-09
线性变换、特征分解、奇异值分解(SVD)等概念在理解和构建神经网络结构时至关重要。矩阵运算的性质，如乘法、转置和逆，是理解和实现神经网络更新规则的基础。 3. 概率论与统计：深度学习模型常常建立在概率框架之上...
斯坦福ML公开课笔记(中文版7-11)
11-06
奇异值分解（Singular Value Decomposition, SVD）是矩阵理论中的一个重要概念，也是许多机器学习算法的基础。对于任意矩阵A，可以分解为U * Σ * V^T的形式，其中U和V是正交矩阵，Σ是对角矩阵，包含了A的重要信息...
Python 数据降噪处理的四种方法——均值滤波、小波变换、奇异值分解、改变binSize
哦豁灬
11-09 4万+
Python 数据降噪处理的四种方法——均值滤波、小波变换、奇异值分解、改变binSize github主页：https://github.com/Taot-chen 一、均值滤波 1）算法思想  给定均值滤波窗口长度，对窗口内数据求均值，作为窗口中心点的数据的值，之后窗口向后滑动1，相邻窗口之间有重叠；边界值不做处理，即两端wid_length//2长度的数据使用原始数据。 2）Python实现 ''' 均值滤波降噪： 函数ava_filter用于单次计算给定窗口长度的均值滤波 函数den
本质矩阵svd分解_GAN 的谱归一化(Spectral Norm)和矩阵的奇异值分解(SVD)
weixin_39977934的博客
12-08 913
在文献 [2] 中作者分析了 GAN [1] 难以训练的原因在于原生 GAN 的目标函数等价于优化生成数据的分布 pgpg 和真实数据的分布 prpr 之间的 J-S 散度 (Jensen–Shannon Divergence)。接着作者提出 WGAN [3]，使用性质优良的 Wasserstein distance 代替原生 GAN 中的 J-S 散度。 然后利用KR对偶原理将 Wasserst...
奇异值分解(SVD)原理详解及推导
热门推荐
学无常师，负笈不远险阻
01-23 36万+
在网上看到有很多文章介绍SVD的，讲的也都不错，但是感觉还是有需要补充的，特别是关于矩阵和映射之间的对应关系。前段时间看了国外的一篇文章，叫A Singularly Valuable Decomposition The SVD of a Matrix，觉得分析的特别好，把矩阵和空间关系对应了起来。本文就参考了该文并结合矩阵的相关知识把SVD原理梳理一下。 SVD不仅是一个数学问题，在工程应用中的很多地方都有它的身影，比如前面讲的PCA，掌握了SVD原理后再去看PCA那是相当简单的，在推荐系统方面，SV
奇异值、奇异矩阵、SVD分解、正交矩阵
silence1214的专栏
10-17 1万+
奇异值： 奇异值分解法是线性代数中一种重要的矩阵分解法，在信号处理、统计学等领域有重要应用。 定义：设A为m*n阶矩阵，A'表示A的转置矩阵，A'*A的n个特征值的非负平方根叫作A的奇异值。记为σi(A)。 如果把A‘*A的特征值记为λi(A‘*A)，则σi(A)＝sqrt(λi(A’*A))。 奇异矩阵：     奇异矩阵是线性代数的概念，就是对应的行列式等于0的矩阵。奇异矩阵的判断方
奇异值分解（SVD）学习笔记
bingo_csdn_的博客
09-30 732
在机器学习或数据分析中，有时样本数据会比较大，这样对计算机的内存会有很大的负担。此时，通过一些方法来提取数据中的主要成分，而忽略其中可以忽略不计的成分，将大大减少计算量。本文讲简单介绍奇异值分解（SVD）方法。
SVD（奇异值分解）学习笔记
weixin_41690997的博客
03-06 593
奇异值分解物理意义 从几何上，SVD分解就是通过M将一组正交基映射到另一组正交基。 记映射后的向量Mv1为u1,Mv2为u2,Mv1的模为σ1，Mv2的模为σ2。 接下来我们就可以推导了： （类似于特征值特征向量的表达式） 这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。特征值分解是将一个矩阵分解成下面的形式： 其中Q是这个矩阵A的特征向量组成的矩阵，...
【SVD】奇异值分解 -- 学习笔记
萝卜丝儿皮尔
03-07 1548
参考资料：数值分析 若A为Hermite阵， 可用-酉相似变换-将其化为对角形式：Q∗AQ=ΛQ^{*}AQ=\LambdaQ∗AQ=Λ，即得到谱分解，也就是特征值分解； 谱分解保持矩阵的秩和特征值不变。 若A非Hermite阵， 可用-初等变换-化为比较简单的对角形式， A=P[I000]QA=P\begin{bmatrix}I&0\\0&0\end{bmatrix}QA...
个人学习笔记（十六）奇异值分解
万carp的博客
07-23 1053
       奇异值分解(singular value decomposition, SVD)是一种矩阵因子分解方法。任意一个m×nm\times nm×n的矩阵都可以表示为三个矩阵的乘积（因子分解）形式，矩阵的奇异值分解一定存在，但不唯一。奇异值分解可以看作是矩阵数据压缩的一种方法，这种近似是平方损失意义下的最优近似。 一、奇异值分解的定义与性质 &nbs...
奇异值分解简要笔记
学习，学习，学习
01-18 417
对称矩阵 正交对角化 对称矩阵有非常好的性质——可以正交对角化。 就是说对称矩阵A可以用特征值和特征向量分解成A=PDPTA=PDP^TA=PDPT的形式。 其中D是对角矩阵，对角线上是A的特征值。P的列向量是A的标准正交基。 这个形式很好，P是正交矩阵，对应是正交变换。正交变换保留了内积，所以也就保留了角度和距离。这在分类和聚类里面都是很重要的，因为衡量两个向量相似度就是用角度或者距离。 正交变...
奇异值分解去躁python
最新发布
07-28
奇异值分解（Singular Value Decomposition，SVD）是一种矩阵分解的方法，可以将一个矩阵分解为三个矩阵的乘积，即A = USV^T。其中，U和V是正交矩阵，S是对角矩阵，对角线上的元素称为奇异值。奇异值分解在数据降维...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值