矩阵奇异值分解计算步骤及简单例子

最新推荐文章于 2024-01-02 22:19:23 发布

不冰微糖K

最新推荐文章于 2024-01-02 22:19:23 发布

阅读量784

点赞数 18

分类专栏： #数学学习文章标签：矩阵算法线性代数

本文链接：https://blog.csdn.net/KuaiLeK/article/details/135306490

版权

#数学学习专栏收录该内容

1 篇文章 0 订阅

订阅专栏

保姆级矩阵奇异值分解讲解，看完就会！(前提：具有基本线性代数基础)

矩阵的奇异值分解(SVD分解)

总结了九个步骤来完成。（以下计算中一般只写到3，若有兴趣读者可自行推导到n的情况。例如特征值只写到 $\lambda _{1}\lambda _{2}\lambda _{3}$ ，其实是可以写到 $\lambda _{n}$ ）

对矩阵 $A_{m\times n}$ 进行奇异值分解：

1、计算 $A^{T}A$

方法：矩阵的乘法，要点：略

2、计算 $A^{T}A$ 的特征值

方法： $|\lambda E - A^{T}A|=0$ 令行列式的值为0计算 $\lambda$ 的值。重根按重根记。 $\lambda _{1}\lambda _{2}\lambda _{3}$

3、计算 $A^{T}A$ 对应各特征值的特征向量

方法：求 $(\lambda E - A^{T}A)x=0$ 的非零解，有几个特征值就有几个特征向量。 $\xi _{1}\xi _{2}\xi _{3}$

4、将特征向量施密特正交化

方法：令 $\beta _{1}=\alpha _{1}$ ， $\beta _{2}=\alpha _{2}-\frac{\left ( \beta _{1},\alpha _{2} \right )}{\left ( \beta _{1},\beta _{1} \right )}\beta _{1}$ ， $\beta _{3}=\alpha _{3}-\frac{\left ( \beta _{1},\alpha _{3} \right )}{\left ( \beta _{1},\beta _{1} \right )}\beta _{1}-\frac{\left ( \beta _{2},\alpha _{3} \right )}{\left ( \beta _{2},\beta _{2} \right )}\beta _{2}$

其中 $\alpha _{1}\alpha _{2}\alpha _{3}$ 均为已求出的特征向量。

5、将特征值与对应特征向量按从大到小的顺序排好

方法：略，注意好对应，别对差了。

6、构建V与D矩阵并由D构建 $\Sigma$ 矩阵

方法： $V=\left ( v_{1},v_{2},v_{3} \right )$

这里的 $v_{1},v_{2},v_{3}$ 对应步骤3中的 $\xi _{1},\xi _{2},\xi _{3}$

$D=\begin{bmatrix} \sqrt{\lambda _{1}} & & \\ & \sqrt{\lambda _{2}} & \\ & &\sqrt{\lambda _{3}} \end{bmatrix}_{r\times r}$

$r$ 为特征值的非零个数，若 $\lambda _{k}=0$ ，则不填入D中；

$\Sigma =\begin{bmatrix} D_{r\times r} & 0\\ 0 & 0 \end{bmatrix}_{m\times n}$

7、构造前 $r$ 个标准正交向量 $\mu _{1},\mu _{2},\cdots \cdots$

方法： $\mu _{i}=\frac{1}{\sigma _{i}}Av_{i}$ ，其中 $\sigma _{i}=\sqrt{\lambda _{i}}$ 代表奇异值。

8、将构造的标准正交向量 $u_{i}$ ，按照标准正交基扩充的方法，扩充到 $m$ 维向量空间，

组成 $\mu _{1},\mu _{2},\cdots \cdots ,\mu _{r},b_{1},b_{2},\cdots \cdots ,b_{m-r}$ ，组成新的正交矩阵 $U_{m\times m}$

方法：求 $\left ( \mu _{i} \right )^{T}x=0$ 的基础解系，并把基础解系施密特正交化，再与原 $\mu _{i}$ 结合即可形成 $U_{m\times m}$

9、写出答案

方法： $A=U\Sigma V^{T}$

注意 $V$ 要转置

举个简单例子：

求：矩阵 $A=\begin{pmatrix} 1 & -1\\ -2 & 2\\ 2 &-2 \end{pmatrix}_{3\times 2}$ 的奇异值分解

1、 $A^{T}A=\begin{pmatrix} 9 & -9\\ -9 & 9 \end{pmatrix}$

2、特征值为： $\lambda _{1}=18,\lambda _{2}=0$

3、对应特征向量为： $v_{1}=\begin{pmatrix} \frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}} \end{pmatrix}$ ， $v_{2}=\begin{pmatrix} \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}} \end{pmatrix}$

4、步骤3已完成标准化

5、步骤2、3已完成排序和对应关系

6、构建V与 $\Sigma$ 矩阵

$V=\left ( v_{1},v_{2} \right )=\begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{pmatrix}$

$\Sigma =\begin{pmatrix} 3\sqrt{2} & 0\\ 0 & 0\\ 0 & 0 \end{pmatrix}$

7、构造前1个标准正交向量 $\mu _{1}$

$\mu _{1}=\frac{1}{\sigma _{1}}Av_{1}=\frac{1}{3\sqrt{2}}Av_{1}=\begin{pmatrix} \frac{1}{3}\\ -\frac{2}{3}\\ \frac{2}{3} \end{pmatrix}$

8、将 $\mu _{1}$ 扩充到 $\mathbb{R}^{3}$ 的向量空间

$\mu _{2}=b_{1}=\begin{pmatrix} \frac{2}{\sqrt{5}}\\ \frac{1}{\sqrt{5}}\\ 0 \end{pmatrix}$ ，

$\mu _{3}=b_{2}=\begin{pmatrix} -\frac{2}{\sqrt{45}}\\ \frac{4}{\sqrt{45}}\\ \frac{5}{\sqrt{45}} \end{pmatrix}$ ；

$U=\left ( \mu _{1},\mu _{2},\mu _{3} \right )=\begin{pmatrix} \frac{1}{3} & \frac{2}{\sqrt{5}} & -\frac{2}{\sqrt{45}}\\ -\frac{2}{3} & \frac{1}{\sqrt{5}} & \frac{4}{\sqrt{45}}\\ \frac{2}{3} & 0 & \frac{5}{\sqrt{45}} \end{pmatrix}$

9、写出答案

$A=U\Sigma V^{T}=\begin{pmatrix} \frac{1}{3} & \frac{2}{\sqrt{5}} & -\frac{2}{\sqrt{45}}\\ -\frac{2}{3} & \frac{1}{\sqrt{5}} & \frac{4}{\sqrt{45}}\\ \frac{2}{3} & 0 & \frac{5}{\sqrt{45}} \end{pmatrix}\begin{pmatrix} 3\sqrt{2} & 0\\ 0 & 0\\ 0 & 0 \end{pmatrix}\begin{pmatrix} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{pmatrix}$