矩阵的奇异值（Singular Values）

幼儿园大哥~

已于 2024-06-28 15:29:32 修改

阅读量1.6k

点赞数 6

分类专栏：扩展知识文章标签：矩阵算法线性代数

于 2024-06-28 15:10:06 首次发布

本文链接：https://blog.csdn.net/weixin_45633221/article/details/140043931

版权

扩展知识专栏收录该内容

28 篇文章 1 订阅

订阅专栏

矩阵的奇异值（Singular Values）是奇异值分解（SVD）过程中得到的一组重要特征值。它们在许多应用中非常重要，如信号处理、数据压缩和统计学等。以下是对奇异值及其计算和性质的详细解释：

奇异值分解（SVD）

奇异值分解是矩阵分解的一种方法，它将任意一个实数或复数矩阵分解为三个特定矩阵的乘积。具体来说，对于一个 $\times n$ 的矩阵 $\mathbf{M}$ ，其奇异值分解表示为：

$\mathbf{M} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^\top$

其中：

$\mathbf{U}$ 是一个 $\times m$ 的正交矩阵，包含了矩阵 $\mathbf{M}$ 的左奇异向量。
$\mathbf{\Sigma}$ 是一个 $\times n$ 的对角矩阵，对角线上是矩阵 $\mathbf{M}$ 的奇异值，其余元素为零。
$\mathbf{V}^\top$ 是一个 $\times n$ 的正交矩阵，包含了矩阵 $\mathbf{M}$ 的右奇异向量。

奇异值的计算

奇异值 $\sigma_i$ 是矩阵 $\mathbf{M}$ 的奇异值分解中对角矩阵 $\mathbf{\Sigma}$ 的非负对角元素。它们是 $\mathbf{M} \mathbf{M}^\top$ 和 $\mathbf{M}^\top \mathbf{M}$ 的非负特征值的平方根。具体来说，如果 $\mathbf{M}$ 的奇异值为 $\sigma_i$ ，那么 $\sigma_i$ 满足以下条件：

$\mathbf{M} \mathbf{M}^\top \mathbf{u}_i = \sigma_i^2 \mathbf{u}_i$
$\mathbf{M}^\top \mathbf{M} \mathbf{v}_i = \sigma_i^2 \mathbf{v}_i$

其中， $\mathbf{u}_i$ 和 $\mathbf{v}_i$ 分别是 $\mathbf{M} \mathbf{M}^\top$ 和 $\mathbf{M}^\top \mathbf{M}$ 的特征向量。

奇异值的性质

非负性：奇异值总是非负的，即 $\sigma_i \geq 0$ 。
排列顺序：奇异值通常按降序排列，即 $\sigma_1 \geq \sigma_2 \geq \cdots \geq \sigma_{\min(m,n)}$ 。
数量：一个 $\times n$ 矩阵最多有 $\min(m, n)$ 个奇异值。
对称性：奇异值是对称矩阵的特征值的绝对值。

奇异值的应用

奇异值在许多领域都有广泛应用，包括但不限于：

矩阵近似：通过截断较小的奇异值，可以得到矩阵的低秩近似，用于数据压缩和降维。
数据压缩：在图像处理和压缩中，保留较大的奇异值可以有效减少数据存储量，同时保持较高的数据质量。
信号处理：奇异值分解用于去噪和信号恢复。
统计学：在主成分分析（PCA）中，奇异值用于确定数据的主成分方向和方差。

通过以上解释，希望能帮助你更好地理解奇异值及其在矩阵分析中的重要性。

好的，让我们通过一个具体的例子来说明奇异值的计算过程。

示例矩阵

考虑一个 $\times 2$ 的矩阵 $\mathbf{A}$ ：

$\mathbf{A} = \begin{pmatrix} 3 & 1 \\ 1 & 3 \end{pmatrix}$

计算奇异值

计算 $\mathbf{A}^\top \mathbf{A}$ 和 $\mathbf{A} \mathbf{A}^\top$

首先，计算 $\mathbf{A}^\top \mathbf{A}$ 和 $\mathbf{A} \mathbf{A}^\top$ ：

$\mathbf{A}^\top \mathbf{A} = \begin{pmatrix} 3 & 1 \\ 1 & 3 \end{pmatrix}^\top \begin{pmatrix} 3 & 1 \\ 1 & 3 \end{pmatrix} = \begin{pmatrix} 10 & 6 \\ 6 & 10 \end{pmatrix}$

$\mathbf{A} \mathbf{A}^\top = \begin{pmatrix} 3 & 1 \\ 1 & 3 \end{pmatrix} \begin{pmatrix} 3 & 1 \\ 1 & 3 \end{pmatrix}^\top = \begin{pmatrix} 10 & 6 \\ 6 & 10 \end{pmatrix}$

注意到这两个矩阵是相同的。

求解 $\mathbf{A}^\top \mathbf{A}$ 的特征值

接下来，求解 $\mathbf{A}^\top \mathbf{A}$ 的特征值。设 $\mathbf{A}^\top \mathbf{A}$ 的特征值为 $\lambda$ ，我们需要解特征方程：

$\det(\mathbf{A}^\top \mathbf{A} - \lambda \mathbf{I}) = 0$

即：

$\det\begin{pmatrix} 10 - \lambda & 6 \\ 6 & 10 - \lambda \end{pmatrix} = 0$

计算行列式：

$\lambda)^2 - 36 = 0$

解这个二次方程：

$\lambda^2 - 20\lambda + 64 = 0$

求解得到特征值：

$\lambda = 16 \quad \text{和} \quad \lambda = 4$

计算奇异值

奇异值是 $\mathbf{A}$ 的特征值的平方根。因此：

$\sigma_1 = \sqrt{16} = 4$

$\sigma_2 = \sqrt{4} = 2$

因此，矩阵 $\mathbf{A}$ 的奇异值为 $\sigma_1 = 4$ 和 $\sigma_2 = 2$ 。

奇异值分解

我们可以进一步进行奇异值分解（SVD），将矩阵 $\mathbf{A}$ 分解为：

$\mathbf{A} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^\top$

其中：

$\mathbf{U}$ 和 $\mathbf{V}$ 是正交矩阵（包含左奇异向量和右奇异向量）。
$\mathbf{\Sigma}$ 是对角矩阵，包含奇异值。

对于本例中的矩阵 $\mathbf{A}$ ：

$\mathbf{\Sigma} = \begin{pmatrix} 4 & 0 \\ 0 & 2 \end{pmatrix}$

计算 $\mathbf{U}$ 和 $\mathbf{V}$

左奇异向量 $\mathbf{U}$ 和右奇异向量 $\mathbf{V}$ 是通过求解以下方程得到的：

$\mathbf{A} \mathbf{A}^\top \mathbf{u}_i = \sigma_i^2 \mathbf{u}_i$

$\mathbf{A}^\top \mathbf{A} \mathbf{v}_i = \sigma_i^2 \mathbf{v}_i$

我们已知：

$\mathbf{A} \mathbf{A}^\top = \mathbf{A}^\top \mathbf{A} = \begin{pmatrix} 10 & 6 \\ 6 & 10 \end{pmatrix}$

求解这两个矩阵的特征向量即可得到 $\mathbf{U}$ 和 $\mathbf{V}$ 。

通过计算，得到：

$\mathbf{u}_1 = \mathbf{v}_1 = \begin{pmatrix} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{pmatrix}, \quad \mathbf{u}_2 = \mathbf{v}_2 = \begin{pmatrix} -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{pmatrix}$

因此：

$\mathbf{U} = \mathbf{V} = \begin{pmatrix} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{pmatrix}$

综上，矩阵 $\mathbf{A}$ 的奇异值分解为：

$\mathbf{A} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^\top = \begin{pmatrix} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{pmatrix} \begin{pmatrix} 4 & 0 \\ 0 & 2 \end{pmatrix} \begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{pmatrix}$