An introduction to SVD

JulyThirteenth

于 2022-12-29 13:08:29 发布

阅读量161

点赞数

分类专栏： Nonlinear Optimization 文章标签：人工智能算法矩阵

本文链接：https://blog.csdn.net/JulyThirteenth/article/details/128479273

版权

Nonlinear Optimization 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

本文介绍奇异值分解这一数学工具。首先介绍方阵的特征值和特征向量，在此基础上介绍方阵的特征分解。针对更为一般的矩阵，我们介绍其“特征分解”方法——奇异值分解。

1. 特征值与特征向量

对于方阵 $A_{n\times n}$ ，常数 $\lambda$ ，非零向量 $u$ ，若满足下式：

$Au=\lambda u$

则称 $\lambda$ 为矩阵 $A$ 的特征值， $u$ 为矩阵 $A$ 属于 $\lambda$ 的特征向量。

对上式变换得到：

$\left ( \lambda I-A \right )u=0$

由于 $u$ 为非零向量，则可得： $\det \left ( \lambda I-A \right ) = 0$ 。

上式可写为：

$\det \left ( \lambda I-A \right )=\begin{vmatrix} \lambda - a_{11} & -a_{12} & \cdots & -a_{1n}\\ -a_{21} & \lambda - a_{22} & \cdots & -a_{2n}\\ \vdots & \vdots & \ddots & \vdots \\ -a_{n1} & - a_{n2} & \cdots & \lambda - a_{nn} \end{vmatrix}=\sum_{i=0}^{n}p_{i}\lambda ^{n-i}=0$

其中 $p\left ( \lambda \right )=\sum_{i=0}^{n}p_{i}\lambda ^{n-i}$ 为矩阵 $A$ 的特征多项式， $p\left ( \lambda \right )=\sum_{i=0}^{n}p_{i}\lambda ^{n-i}=0$ 为矩阵 $A$ 的特征方程。

特征值与特征向量求解方法：

矩阵 $A$ 的特征值即为其特征方程的根。根据特征方程求解得到的特征值带入 $\left ( \lambda I-A \right )u=0$ 可求得对应的特征向量。

2. 特征分解

针对方阵 $A_{n\times n}$ 的 $n$ 个特征值 $\lambda _{1}\geqslant \lambda _{2}\geqslant \cdots \geqslant \lambda _{n}$ ，求解对应的特征向量 $\left \{ \omega _{1} , \omega _{2}, \cdots , \omega _{n}\right \}$ 。根据特征值与特征向量的定义可得：

$A\left ( \omega _{1} , \omega _{2}, \cdots , \omega _{n}\right )=\left (\lambda _{1}\omega _{1} , \lambda _{2}\omega _{2}, \cdots , \lambda _{n}\omega _{n} \right )=\left ( \omega _{1} , \omega _{2}, \cdots , \omega _{n}\right )\cdot \begin{bmatrix} \lambda _{1} & \cdots &0 \\ \vdots & \ddots &\vdots \\ 0& \cdots & \lambda _{n} \end{bmatrix}$

即：

$AW=W\Sigma \Rightarrow A=W \Sigma W^{-1}$

一般我们在求得矩阵特征值对应的特征向量时均对其标准化，即 $\omega _{i}^{T}\omega _{i}=1$ ，故由特征向量组成的矩阵矩阵 $W$ 有 $W^{T}W=I$ ，即 $W^{-1}=W^{T}$ ， $W$ 被称作酉矩阵。于是有下式：

$A=W\Sigma W^{T}$

上式称为矩阵 $A$ 的特征分解。

3. 奇异值分解

假设矩阵 $A$ 为 $m\times n$ 维矩阵，定义矩阵 $A$ 的奇异值分解为：

$A=U\Sigma V^{T}$

式中： $U$ 为 $m\times m$ 维酉矩阵； $\Sigma$ 为 $m\times n$ 维矩阵，除主对角线元素以外元素全为0，主对角线元素为奇异值； $V$ 为 $n\times n$ 维酉矩阵。

矩阵 $A$ 为 $m\times n$ 维矩阵，则 $AA^{T}$ 为 $m\times m$ 维方阵。由 $A=U\Sigma V^{T}$ 得到下式：

$AA^{T}=U\Sigma V^{T}V\Sigma^{T}U^{T}=U\Sigma\Sigma^{T}U^{T}$

可以得到：矩阵 $U$ 为矩阵 $AA^{T}$ 特征向量所组成的矩阵，也被称为矩阵 $A$ 的左奇异向量组。

同理可得：

$A^{T}A=V\Sigma ^{T}UU^{T}\Sigma V^{T}=V\Sigma ^{T}\Sigma V^{T}$

可以得到：矩阵 $V$ 为矩阵 $A^{T}A$ 特征向量所组成的矩阵，也被称为矩阵A的右奇异向量组。

矩阵 $A_{m\times n}$ 奇异值分解方法：

利用 $AA^{T}$ 特征分解求得左奇异向量组；
利用 $A^{T}A$ 特征分解求得右奇异向量组；
由 $A=U\Sigma V^{T}\Rightarrow AV=U\Sigma V^{T}V=U\Sigma\Rightarrow Av_{i}=\sigma _{i}u_{i}\Rightarrow \sigma _{i}= Av_{i}/u_{i}$ 求得奇异值。