什么是奇异值

正义的彬彬侠

于 2024-09-27 15:59:37 发布

阅读量182

点赞数 3

分类专栏：机器学习数学基础文章标签：机器学习矩阵线性代数人工智能

本文链接：https://blog.csdn.net/u013172930/article/details/142595310

版权

42 篇文章 1 订阅

订阅专栏

15 篇文章 0 订阅

订阅专栏

奇异值（Singular Values）是矩阵分解中的一个重要概念，特别是在**奇异值分解（SVD, Singular Value Decomposition）**中，它们用于描述矩阵的某些内在特性。奇异值可以看作是矩阵对向量进行线性变换时的“缩放因子”。

给定一个 $\times n$ 的矩阵 $A$ ，通过奇异值分解，我们可以将矩阵 $A$ 分解为：
$\Sigma V^T$

其中：

奇异值是矩阵 $\Sigma$ 的对角线上的元素，记作 $\sigma_1, \sigma_2, \dots, \sigma_r$ ，其中 $r$ 是矩阵的秩。它们反映了矩阵在不同方向上的“伸缩”程度。

非负实数：
奇异值始终是非负的实数，即 $\sigma_i \geq 0$ 。它们代表了矩阵的几何属性，比如向量在不同方向上的拉伸或压缩因子。
奇异值的数量：
对于一个 $\times n$ 的矩阵 $A$ ，奇异值的数量为 $\min(m, n)$ ，即矩阵的最小维度决定了奇异值的数量。
秩：
矩阵的非零奇异值的数量等于矩阵的秩。如果矩阵 $A$ 的秩是 $r$ ，那么有 $r$ 个非零奇异值，其余的奇异值为 0。
与特征值的关系：
对于方阵（或一般矩阵），奇异值与矩阵的特征值相关。具体来说，奇异值是矩阵 $A^T A$ 或 $A A^T$ 的非零特征值的平方根：
$\sigma_i = \sqrt{\lambda_i}$

其中 $\lambda_i$ 是 $A^T A$ 或 $A A^T$ 的特征值。
对矩阵的范数有直接影响：
- 矩阵的谱范数等于矩阵的最大奇异值。
- 矩阵的弗罗贝尼乌斯范数可以通过矩阵的所有奇异值来计算：
  $\|A\|_F = \sqrt{\sum_{i=1}^{r} \sigma_i^2}$
  其中 $A\|_F$ 是矩阵 $A$ 的弗罗贝尼乌斯范数， $\sigma_i$ 是奇异值。

假设我们有一个 2x2 的矩阵 $A$ ：
$\begin{bmatrix} 3 & 1 \\ 0 & 2 \end{bmatrix}$

计算 $A^T A$ 或 $A A^T$ ：
我们可以计算 $A^T A$ 或 $A A^T$ ，然后计算它们的特征值，最后对特征值开平方，得到矩阵的奇异值。
$A^T A = \begin{bmatrix} 3 & 1 \\ 0 & 2 \end{bmatrix}^T \begin{bmatrix} 3 & 1 \\ 0 & 2 \end{bmatrix} = \begin{bmatrix} 9 & 3 \\ 3 & 5 \end{bmatrix}$

计算 $A^T A$ 的特征值，我们得到两个特征值 $\lambda_1$ 和 $\lambda_2$ 。
奇异值是特征值的平方根：
通过开平方特征值，我们可以得到矩阵 $A$ 的奇异值。

假设我们计算出的特征值为 $\lambda_1 = 10$ ， $\lambda_2 = 4$ ，那么矩阵 $A$ 的奇异值为：
$\sigma_1 = \sqrt{10}, \quad \sigma_2 = \sqrt{4} = 2$