数学基础 -- 线性代数之奇异值

奇异值与其应用

1. 奇异值定义

对于任意的矩阵 $A$（可以是方阵或非方阵），存在三个矩阵 $U$、$\Sigma$ 和 $V$，使得：
$$A=U\Sigma V^T$$
其中：

• $U$ 是一个 $m\times m$ 的正交矩阵，表示左奇异向量；
• $V$ 是一个 $n\times n$ 的正交矩阵，表示右奇异向量；
• $\Sigma$ 是一个 $m\times n$ 的对角矩阵，其中对角线上的元素为奇异值。

2. 奇异值的性质

1. 非负性：奇异值始终为非负数，即对角矩阵 $\Sigma$ 的对角元素均为非负。
2. 奇异值的数量：对于一个 $m\times n$ 的矩阵 $A$，最多有 $\min (m,n)$ 个奇异值。
3. 矩阵的秩：矩阵 $A$ 的秩等于其非零奇异值的数量。
4. 特征值与奇异值的关系：方阵 $A$ 的奇异值是矩阵 $A^{T}A$ 的特征值的平方根。
5. 不变性：奇异值是矩阵的固有属性，与矩阵的旋转或变换无关。

2.1 奇异值分解的示例

为了更好地理解奇异值分解的具体过程和应用，我们通过一个简单的例子展示如何进行奇异值分解。

示例矩阵

考虑一个 $3\times 2$ 的矩阵 $A$：
$$A=\left(\begin{array}{cc}1& 0\\ 0& 1\\ 1& 1\end{array}\right)$$

我们将对这个矩阵进行奇异值分解。

1. 计算 $A^{T}A$

首先，我们计算矩阵 $A^{T}A$：
$$A^{T}A=\left(\begin{array}{ccc}1& 0& 1\\ 0& 1& 1\end{array}\right)\left(\begin{array}{cc}1& 0\\ 0& 1\\ 1& 1\end{array}\right)=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)$$

2. 求 $A^{T}A$ 的特征值和特征向量

接下来，我们求矩阵 $A^{T}A$ 的特征值和特征向量。先写出特征方程：
$$\det (A^{T}A-\lambda I)=\det \left(\begin{array}{cc}2-\lambda & 1\\ 1& 2-\lambda \end{array}\right)=(2-\lambda {)}^2-1={\lambda }^2-4\lambda +3=0$$
解得特征值为：
$${\lambda }_1=3,{\lambda }_2=1$$

对于 ${\lambda }_1=3$，解特征方程 $(A^{T}A-3I)v=0$ 得到特征向量：
$$v_1=\frac{1}{\sqrt{2}}\left(\begin{array}{c}1\\ 1\end{array}\right)$$

对于 ${\lambda }_2=1$，解 $(A^{T}A-I)v=0$ 得到特征向量：
$$v_2=\frac{1}{\sqrt{2}}\left(\begin{array}{c}1\\ -1\end{array}\right)$$

因此，矩阵 $V$ 的列向量是特征向量：
$$V=\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right)$$

3. 计算奇异值

奇异值是 $A^{T}A$ 的特征值的平方根，因此：
$${\sigma }_1=\sqrt{3},{\sigma }_2=\sqrt{1}=1$$
因此，矩阵 $\Sigma$ 为：
$$\Sigma =\left(\begin{array}{cc}\sqrt{3}& 0\\ 0& 1\\ 0& 0\end{array}\right)$$

4. 计算 $U$

矩阵 $U$ 的列向量是矩阵 $A$ 的左奇异向量，左奇异向量通过公式 $A{v}_i={\sigma }_i{u}_i$ 计算。

对于 ${\sigma }_1=\sqrt{3}$，我们有：
$$A\left(\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right)=\left(\begin{array}{c}1\\ 1\\ 2\end{array}\right),u_1=\frac{1}{\sqrt{6}}\left(\begin{array}{c}1\\ 1\\ 2\end{array}\right)$$

对于 ${\sigma }_2=1$，我们有：
$$A\left(\begin{array}{c}\frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}\end{array}\right)=\left(\begin{array}{c}1\\ -1\\ 0\end{array}\right),u_2=\frac{1}{\sqrt{2}}\left(\begin{array}{c}1\\ -1\\ 0\end{array}\right)$$

因此，矩阵 $U$ 为：
$$U=\left(\begin{array}{cc}\frac{1}{\sqrt{6}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{6}}& -\frac{1}{\sqrt{2}}\\ \frac{2}{\sqrt{6}}& 0\end{array}\right)$$

5. 奇异值分解结果

最终，矩阵 $A$ 的奇异值分解为：
$$A=U\Sigma V^T$$
其中：
$$U=\left(\begin{array}{cc}\frac{1}{\sqrt{6}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{6}}& -\frac{1}{\sqrt{2}}\\ \frac{2}{\sqrt{6}}& 0\end{array}\right),\Sigma =\left(\begin{array}{cc}\sqrt{3}& 0\\ 0& 1\\ 0& 0\end{array}\right),V^T=\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right)$$

---

3. 奇异值分解的应用

3.1 数据降维与压缩

奇异值分解可用于数据降维，特别是在图像处理或主成分分析（PCA）中，通过保留最大的奇异值，能够有效减少数据量，同时保留数据的主要信息。

3.2 最小二乘问题

在解超定方程或病态方程时，奇异值分解能够提供稳定的最小二乘解。通过分解矩阵 $A$ 为奇异值分解形式 $A=U\Sigma V^T$，我们可以稳定地求解方程组。

---

例子：奇异值分解在数据压缩中的应用

1. 问题描述

假设我们有一张大小为 $100\times 100$ 的灰度图像，用一个矩阵 $A$ 表示，每个元素表示像素的亮度值。我们希望通过奇异值分解对这张图像进行压缩。

2. 奇异值分解

对矩阵 $A$ 进行奇异值分解，得到：
$$A=U\Sigma V^T$$
其中：

• $U$ 是 $100\times 100$ 的矩阵；
• $\Sigma$ 是 $100\times 100$ 的对角矩阵，包含奇异值；
• $V^T$ 是 $100\times 100$ 的矩阵。

3. 压缩过程

我们只保留最大的 $k=20$ 个奇异值，构造近似矩阵 $A_k$：
$$A_k=U_k{\Sigma }_k{V}_k^T$$
其中：

• $U_k$ 是 $100\times 20$ 的矩阵；
• ${\Sigma }_k$ 是 $20\times 20$ 的对角矩阵；
• $V_k^T$ 是 $20\times 100$ 的矩阵。

经过压缩后，总数据量从原来的 10,000 个数据点减少到 6400 个数据点。

---

例子：奇异值分解在最小二乘问题中的应用

1. 问题描述

我们要解一个线性方程组：
$$Ax=b$$
其中 $A$ 是一个 $3\times 2$ 的矩阵，$b$ 是一个 $3\times 1$ 的已知向量。

矩阵 $A$ 和向量 $b$ 如下：
$$A=\left(\begin{array}{cc}1& 0\\ 0& 1\\ 1& 1\end{array}\right),b=\left(\begin{array}{c}2\\ 2\\ 4\end{array}\right)$$

2. 奇异值分解求解最小二乘问题

我们首先对 $A$ 进行奇异值分解：
$$A=U\Sigma V^T$$
通过计算得到：
$$U=\left(\begin{array}{cc}-0.577& 0.707\\ -0.577& -0.707\\ -0.577& 0.000\end{array}\right),\Sigma =\left(\begin{array}{cc}1.732& 0\\ 0& 1\end{array}\right),V^T=\left(\begin{array}{cc}-0.707& -0.707\\ 0.707& -0.707\end{array}\right)$$

2.1 计算 $U^{T}b$

$$U^{T}b=\left(\begin{array}{ccc}-0.577& -0.577& -0.577\\ 0.707& -0.707& 0\end{array}\right)\left(\begin{array}{c}2\\ 2\\ 4\end{array}\right)=\left(\begin{array}{c}-4.618\\ 1.414\end{array}\right)$$

2.2 解 $\Sigma y=U^{T}b$

$$\Sigma y=\left(\begin{array}{cc}1.732& 0\\ 0& 1\end{array}\right)\left(\begin{array}{c}{y}_1\\ y_2\end{array}\right)=\left(\begin{array}{c}-4.618\\ 1.414\end{array}\right)$$
解得：
$$y_1=-2.666,y_2=1.414$$

2.3 计算 $x=Vy$

$$x=Vy=\left(\begin{array}{cc}-0.707& -0.707\\ 0.707& -0.707\end{array}\right)\left(\begin{array}{c}-2.666\\ 1.414\end{array}\right)=\left(\begin{array}{c}2\\ 1\end{array}\right)$$

因此，最小二乘解为 $x=\left(\begin{array}{c}2\\ 1\end{array}\right)$。

---

总结

奇异值分解在数据压缩和最小二乘问题中有广泛的应用。在数据压缩中，通过保留最大的奇异值，我们可以有效减少数据量，压缩图片或信号；在最小二乘问题中，SVD 提供了数值稳定的解法，特别适用于病态或超定方程组。