奇异值分解（一）

最新推荐文章于 2025-04-04 16:29:03 发布

我闻如是

最新推荐文章于 2025-04-04 16:29:03 发布

阅读量2.7k

点赞数 1

分类专栏：压缩感知文章标签：机器学习矩阵线性代数

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/xfsong2012/article/details/121314731

版权

压缩感知专栏收录该内容

6 篇文章

订阅专栏

奇异值分解(Singular Value Decomposition，简称SVD)是机器学习领域应用最广泛的算法。被广泛应用在降维算法、推荐系统以及自然语言处理等领域。

1、SVD的发展历史

Beltrami（1835-1899）和Jordan（1838-1921）被公认是奇异值分解的创始人。

1873年Beltrami提出了实正方矩阵的奇异值分解：

1874年Jordan发表了对奇异值分解的独立推导；

1902年Autonne将奇异值分解推广到复正方矩阵；

1939年Eckart与Young将奇异值分解推广到了一般复长方形矩阵。

所以又将任意复长方矩阵的奇异值分解又称为Autonee-Eckart-Young定理。

2、奇异值分解的定义

定理1（矩阵的奇异值分解）

令 $A\in R^{m\times n}$ （或 $C^{m\times n}$ ），则存在正交或酉矩阵 $U\in R^{m\times n}$ （或 $C^{m\times m}$ ）和 $V\in R^{n\times n}$ (或 $C^{n\times n}$ )使得

$A=U\Sigma V^{T}$ (或 $U\Sigma V^{H}$ ) （1）

其中，U是大小为 $m\times m$ 的矩阵，对应着 $AA^{T}$ 的m个特征向量；V是大小为 $n\times n$ 的矩阵，对应着 $A^{T}A$ 的n个特征向量； $\sum =\begin{bmatrix} \sum _{1} & O\\ O& O \end{bmatrix}$ ，且 $\sum _{1}=diag(\sigma _{1},\sigma _{2},...,\sigma _{r})$ ，其对角元素（矩阵A的奇异值）按照顺序

$\sigma ^{_{1}}\geqslant \sigma _{2}\geqslant ...\geqslant \sigma _{r}> 0,r=rank(A)$

排列。对角线上的元素对应着矩阵 $AA^{T}$ 或 $A^{T}A$ 的非负特征值的的平方根。

但是公式（1）不实用，SVD要实现降维需要对矩阵做截断处理。

当矩阵A的秩r<min{m,n}时，奇异值分解简化为：

$A=U_{r}\sum _{r}V_{r}^{H}$ (2)

称为矩阵A的截断奇异值分解（truncated SVD）。这样能大大的减少计算机的存储能力。

参考资料：

1、张贤达著《矩阵分析与应用》（第2版）。

2、浅谈张量分解（三）：如何对稀疏矩阵进行奇异值分解？ - 知乎 (zhihu.com)

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。