SVD分解法求超定方程 Ax=0 的最小二乘解

滴滴哒哒答答

已于 2025-02-20 21:03:04 修改

阅读量886

点赞数 15

分类专栏：数学知识文章标签：算法机器学习人工智能

于 2024-01-17 22:47:47 首次发布

本文链接：https://blog.csdn.net/m0_49384824/article/details/135660896

版权

数学知识专栏收录该内容

3 篇文章 0 订阅

订阅专栏

1.SVD分解的介绍

任意矩阵都可以进行奇异值分解，对 $m\times n$ 的矩阵 $A$ 进行奇异值分解可得：

$A=U\Sigma V^\top$

其中：

$U$ : $m\times m$ 的正交矩阵，列向量为 $A A^T$ 的特征向量。
$\Sigma$ : $m\times n$ 的对角矩阵（奇异值矩阵），对角线上的值为奇异值（从大到小排列），其余元素为0。
$V$ : $n\times n$ 的正交矩阵，列向量为 $A ^TA$ 的特征向量。

$U$ 和 $V$ 都表示旋转，均为正交矩阵，即满足

$U^{T}=U^{-1}$

$V^{T}=V^{-1}$

奇异值矩阵 $\Sigma$ 对角线上的奇异值按照从大到小的顺序排列，并且奇异值减少的特别快，在很多情况下前 10% 甚至 1% 的奇异值的和就占了全部的奇异值之和的 99% 以上。也就是说，我们可以通过保留前 k 个最大的奇异值和对应的特征向量，将矩阵近似表示为低维形式。即：

$\mathrm{A_{m\times n}=U_{m\times m}\Sigma_{m\times n}V_{n\times n}^T\approx U_{m\times k}\Sigma_{k\times k}V_{k\times n}^T}$

SVD分解的本质就是将一个线性变换 $A$ 分解为旋转 $^{}$ $V^{T}$ 左乘拉伸 $\Sigma$ 再左乘旋转 $U$ 。

$^{}$ $U\Sigma V^\top$ 的性质如下图中所示：

② 部分内容放大如下：

求矩阵 $A$ 的SVD分解的步骤如下：

2.SVD分解法求解 Ax=0

问题描述：给定 $m\times n$ 的矩阵 $A$ ，求解 $Ax=0$ 。最小二乘解是指找到一个非零向量 $x$ ，使得 $\|Ax\|_2^2$ 能够最小化。即：

$\boldsymbol{x}^*=\arg \min _{\boldsymbol{x}}\|\boldsymbol{A} \boldsymbol{x}\|_2^2=\arg \min _{\boldsymbol{x}} \boldsymbol{x}^{\top} \boldsymbol{A}^{\top} \boldsymbol{A} \boldsymbol{x}, \quad \text { s.t., }\|\boldsymbol{x}\|=1 .$

我们不想得到 $x=0$ 这样的平凡解，所以加上约束 $x\neq 0$ 。
如果 $x$ 乘上非 0 常数 k ，那么 $Ax$ 也会被放大 k 倍。因此我们不考虑 $x$ 的长度，只关注其方向，即令 $\|x\|=1$ 。

结论： $Ax=0$ 的最小二乘解是 $A^{T}A$ 最小特征值对应的特征向量

推导过程：

$\|Ax\|_2^2=\boldsymbol{x}^{\top} \boldsymbol{A}^{\top} \boldsymbol{A} \boldsymbol{x}=x^{\top}\left(U \Sigma V^{\mathrm{T}}\right)^{\mathrm{T}} U \Sigma V^{\mathrm{T}} \boldsymbol{x}=\boldsymbol{x}^{\top} \boldsymbol{V} \boldsymbol{\Sigma}^2 \boldsymbol{V}^{\top} \boldsymbol{x} .$

其中 $V$ 为正交矩阵，其列向量为 $A ^TA$ 每一维特征值对应的特征向量，记为 $v_1, v_2,\ldots v_n$ ，它们构成了一组单位正交基。而任意的 $x$ 总是可以被这组单位正交基线性表示为：

$\boldsymbol{x}=\alpha_1 \boldsymbol{v}_1+\alpha_2 \boldsymbol{v}_2+\ldots+\alpha_n \boldsymbol{v}_n=[v_{1},v_{2},\ldots v_{n}][\alpha_{1},\alpha_{2},\ldots \alpha_{n}]^T$

即：

$x=V[\alpha_{1},\alpha_{2},\ldots \alpha_{n}]^T$

可得：

$x^TV=[\alpha_{1},\alpha_{2},\ldots \alpha_{n}],V^Tx=[\alpha_{1},\alpha_{2},\ldots \alpha_{n}]^T$

即：

$\|Ax\|_2^2=\boldsymbol{x}^{\top} \boldsymbol{V} \boldsymbol{\Sigma}^2 \boldsymbol{V}^{\top} \boldsymbol{x}=[\alpha_{1},\alpha_{2},\ldots \alpha_{n}]\begin{bmatrix}\delta_{1}^{2}&&&\\&\delta_{2}^{2}&&\\&&\ldots&\\&&&\delta_{n}^{2}\end{bmatrix}[\alpha_{1},\alpha_{2},\ldots \alpha_{n}]^T$