奇异值分解（SVD）例子+功能

最新推荐文章于 2024-01-02 22:19:23 发布

Xiao__fly

最新推荐文章于 2024-01-02 22:19:23 发布

阅读量692

点赞数

文章标签：线性代数矩阵机器学习

本文链接：https://blog.csdn.net/Xiao__fly/article/details/125349939

版权

SVD例子

以矩阵A为例

$A = \begin{pmatrix} 0 &1 \\ 1 &1 \\ 1&0 \end{pmatrix}$

第一步，求出 $A^TA$ 和 $AA^T$ ：

$A^TA = \begin{pmatrix} 0 & 1 &1 \\ 1 & 1 & 0 \end{pmatrix} \begin{pmatrix} 0 &1 \\ 1&1 \\ 1& 0 \end{pmatrix} = \begin{pmatrix} 2 &1 \\ 1 &2 \end{pmatrix}$

$AA^T = \begin{pmatrix} 0 &1 \\ 1&1 \\ 1& 0 \end{pmatrix} \begin{pmatrix} 0 & 1 &1 \\ 1 & 1 & 0 \end{pmatrix} = \begin{pmatrix} 1 & 1 &0 \\ 1 & 2 &1 \\ 0 & 1& 1 \end{pmatrix}$

第二步，求出 $A^TA$ 的特征向量 $V$ 和特征值 $\lambda$ ：

$V = \begin{pmatrix} \frac{1}{\sqrt{2}} & - \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}} &\frac{1}{\sqrt{2}} \end{pmatrix}$

$\lambda_1 = 3, \lambda_2 = 1$

奇异值是特征值的平方根： $\sigma_1 = \sqrt{3}, \sigma_2 = 1$

第三步，求出 $AA^T$ 的特征向量 $U$ :

$U = \begin{pmatrix} \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{2}} &\frac{1}{\sqrt{3}} \\ \frac{2}{\sqrt{6}} &0 &-\frac{1}{\sqrt{3}} \\ \frac{1}{\sqrt{6}} & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{3}} \end{pmatrix}$

所以矩阵 $A$ 的奇异值分解为：

$A = U\Sigma V^T = \begin{pmatrix} \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{2}} &\frac{1}{\sqrt{3}} \\ \frac{2}{\sqrt{6}} &0 &-\frac{1}{\sqrt{3}} \\ \frac{1}{\sqrt{6}} & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{3}} \end{pmatrix} \begin{pmatrix} \sqrt{3} & 0\\ 0&1 \\ 0& 0 \end{pmatrix} \begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}} &\frac{1}{\sqrt{2}} \end{pmatrix}$