奇异值分解（Singular Value Decomposition）

- 线性变化的几何表现

• 首先看下简单的矩阵，这是一个对角矩阵
  $$\begin{gather*} M=\begin{pmatrix} 3& 0 \\ 0 & 1 \end{pmatrix} \end{gather*}$$
  我们先用这个对角矩阵乘以一个点来看看它的几何变化。
  $$\begin{gather*} \begin{pmatrix} 3& 0 \\ 0 & 1 \end{pmatrix}* \begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} 3x \\ y \end{pmatrix} \end{gather*}$$
  在几何上就相当于把原来的向量x轴方向拉伸成了原来的3倍
  –》

• 再来看下对称矩阵
  

  $$\begin{gather*} M=\begin{pmatrix} 2& 1 \\ 1 & 2\end{pmatrix} \end{gather*}$$
  利用对称矩阵乘以一个点来看看它的几何变化

  -》
  这并不能清晰的显示出发生了怎样的几何变换，我们可以把整个坐标轴逆时针旋转45度来更好的发现规律。
  -》
  从上图可以看出原来的红色部分，沿着一个方向被拉伸了3倍。

- 奇异值分解

这是奇异值分解的几何实质：对于任意的二维方阵（M）,我们都可以找到相互正交的向量 （v1,v2），使得经过M变换后得到的两个向量(Mv1,Mv2)还是正交的。
-》

$$\begin{gather*} \ v _{1}和v_{2}是正交的单位向量\\ \ u_{1}和u_{2}是在Mv_{1}和Mv_{2}方向上的单位向量\\ \sigma_{1}和\sigma_{2}表示v_{1}和v_{2}经过M变换后的拉伸倍数\\ \mathbf{M}v_{1}=\sigma_{1}u_{1}\\ \mathbf{M}v_{2}=\sigma_{2}u_{2} \end{gather*}$$
对于任意的二维向量x
$$\begin{gather*} x = (v_{1}.x) v_{1} + (v_{2}.x) v_{2}\\ Mx = (v_{1}.x) Mv_{1} + (v_{2}.x) Mv_{2} \\ Mx = (v_{1}.x) σ_{1}u_{1} + (v_{2}.x) σ_{2}u_{2} \\ 由于v.x = v^Tx\\ Mx = u_{1}σ_{1} v_{1}^Tx + u_{2}σ_{2} v_{2}^Tx \\ M = u_{1}σ_{1} v_{1}^T + u_{2}σ_{2} v_{2}^T \\ M = UΣV^T\\ U=\begin{pmatrix} u_{1}&u_{2} \end{pmatrix}\\ Σ=\begin{pmatrix} \sigma_{1}&0\\0&\sigma_{2} \end{pmatrix}\\ V=\begin{pmatrix} v_{1}&v_{2} \end{pmatrix} \end{gather*}$$

-那么我们怎么发现奇异值呢

我们可以对任何矩阵进行奇异值分解，首先我们先看下最先的例子，我们在原来的红色正方形上加上一个单位圆
-》
变化后的图形是个椭圆，我们我们可以在椭圆的最长和最短的方向上发现正交基
-》

$$\begin{gather*} 我们可以发现v_{i}和v_{j}是M^TM的特征向量，因为M^TM是一个对称矩阵\\那么不同特征值所对应的特征向量都是正交的所以v_{i}^Tv_{j}=0,奇异值σi = |Mvi|\\ u_{i}是Mv_{i}方向上的单位向量，问题是为什么u_{i}和u_{j}是正交的呢？\\我们假设σi和σj是不同的奇异值\\ Mvi = σiui \\ Mvj = σjuj.\\ (Mv_{i})^T Mv_{j} = v_{i}^TM^T Mv_{j} = v_{i}^T λv_{j} = λv_{i}^T v_{j}= 0.\\ (Mv_{i})^T Mv_{j} =(σ_{i}u_{i})^Tσ_{j}u_{j}=0\\ u_{i}^Tu_{j}=0\\ u_{i}和u_{j}正交\\ 所以我们发现了一系列的正交的v_{i}经过M变换后成为u_{i}，u_{i} u_{j}还是正交的 \end{gather*}$$

- 另外一个例子

$$\begin{gather*} M=\begin{pmatrix} 1& 1 \\ 2 & 2 \end{pmatrix} \end{gather*}$$
利用M对v1 v2进行变换
-》

在这个例子中第二个奇异值为0,

$$\begin{gather*} M = u_{1}σ_{1} v_{1}^T \end{gather*}$$
M的秩是等于非0的奇异值的数目的。

- 数据压缩

奇异值分解可以有效地应用在数据表示中，假设我们来表示一个25*15的黑白像素

因为在整个图像中只有3种列向量，所以我们可以来表示图像更加地高效

我们用一个25*15的矩阵来表示这个图像，1表示白色，0表示黑色

我们对M进行奇异值分解，只发现了3个非0的奇异值

$$\begin{gather*} σ1 = 14.72\\ σ2 = 5.22\\σ3 = 3.31\\ M=u_{1}σ_{1} v_{1}^T + u_{2}σ_{2} v_{2}^T + u_{3}σ_{3} v_{3}^T\\ u_{i}是一个25维的向量 v_{i}是15维的向量 我们用了很少的数据量就把刚刚的M矩阵表示了 \end{gather*}$$

-噪音处理

假设我们利用了一个扫描器来扫描图像，但是在扫描的过程中引入了噪声

我们对这个25*15的矩阵进行奇异值分解

$$\begin{gather*} σ1 = 14.15 \\ σ2 = 4.67 \\ σ3 = 3.00 \\ σ4 = 0.21 \\ σ5 = 0.19 \\ ... \\ σ15 = 0.05 \\ M近似表示为\\ M =u_{1}σ_{1} v_{1}^T + u_{2}σ_{2} v_{2}^T + u_{3}σ_{3} v_{3}^T \end{gather*}$$