6. 矩阵SVD分解

6. 矩阵SVD分解

---

• pdf版本下载：https://pan.baidu.com/s/1o82ULa6
• html版本下载：https://pan.baidu.com/s/1nvshyTb

  矩阵的SVD（Singular Value Decomposition）分解是矩阵当中的一种重要分解，具有广泛应用。比如说进行数据降维，特征提取，特别是用于图像的压缩。在线性代数里面似乎很少讲到矩阵的奇异值分解，这里单纯从数学原理角度解释一下SVD分解，可能会涉及到一些应用场景。

---

1 SVD分解的形式

  矩阵$M_{m*n}$存在分解：$M_{m*n} = U_{m*m}\Sigma_{m*n} V^T_{n*n}$，其中$U、V$是正交阵，$\Sigma$是对角矩阵。

---

2 特征值分解EVD

  在进行矩阵的奇异值分解之前，首先来看一下矩阵的特征值分解EVD（Eigen Value Decomposition）。这两者有着很紧密的关系。

• 特征值分解需要将矩阵分解成这样的形式：
  

  $A_{m*m} = U_{m*m}\Lambda_{m*m} U^{-1}_{m*m} = U_{m*m}\Lambda_{m*m} U^T_{m*m}$
  其中，$A$是$m*m$的满秩对称矩阵，$U$为正交阵，$\Lambda$是由$A$的特征值组成的对角阵。

• 证明：
  假设矩阵$A$的m个特征值分别为$\lambda_i$，对应的特征向量分别为$x_i$，那么：
  

  ⎧⎩⎨⎪⎪⎪⎪