6.10 奇异值

对单位圆的乘法

  首先我们在单位圆上遍历所有的点，作为二维向量，来研究某个矩阵乘以这些向量得到的结果，我们选三种矩阵，秩为0的矩阵，秩为1的矩阵和秩为2的矩阵。
  秩为0的矩阵就一个，也就是0矩阵，毫无疑问，它把所有向量变成0向量，没什么可以多说的了。
  我们任选一个秩为1的矩阵，就选这个吧：
$$\left(\begin{array}{cc}1& 1\\ 1& 1\end{array}\right)$$
  然后我们再遍历单位圆上的所有向量，毫无以为可以用以下形式表示任意单位向量：
$$\left(\begin{array}{c}\cos \theta \\ \sin \theta \end{array}\right)$$
  那么矩阵乘以这些单位向量就变成了以下向量：
$$\left(\begin{array}{c}\cos \theta +\sin \theta \\ \cos \theta +\sin \theta \end{array}\right)$$
  最终它把所有单位向量都变到这根直线上：

  再找个秩为2的矩阵，就选个简单点的：
$$\left(\begin{array}{cc}1& 1\\ 1& 0\end{array}\right)$$
  那么矩阵乘以这些单位向量就变成了以下向量：
$$\left(\begin{array}{c}\cos \theta +\sin \theta \\ \cos \theta \end{array}\right)$$
  它把单位向量变到这个斜放的椭圆上：

矩阵2-范数的定义

  回忆下矩阵2-范数的定义：
$$\parallel A{\parallel }_2=\max \frac{\parallel Ax{\parallel }_2}{\parallel x{\parallel }_2}$$
  现在这些向量都是单位向量，2-范数都是1。所以上式k可以变成：
$$\parallel A{\parallel }_2=\max \parallel Ax{\parallel }_2$$
  那就是在上图的绿色图形中找到离原点最远的那个点的长度就是2-范数了。以第一个秩为1的矩阵为例子，它绿色曲线上2-范数最大的向量是：
$$\left(\begin{array}{c}\pm \sqrt{2}\\ \pm \sqrt{2}\end{array}\right)$$
  所以它的2-范数是2.
  下面这个矩阵呢？它那个绿色曲线最圆的点是什么呢？直接硬算是不好算的，因为是斜的，所以需要把坐标变一下，这根绿色的曲线，按$y=\frac{\sqrt{5}-1}{2}x$这根直线轴对称。如图：

  解以下方程组：
$$\begin{gathered} x^2-2xy+2y^2=1 \\ y=\frac{\sqrt{5}-1}{2}x \\ \Rightarrow x^2-2x\frac{\sqrt{5}-1}{2}x+2(\frac{\sqrt{5}-1}{2}x{)}^2=1 \\ \Rightarrow x^2-(\sqrt{5}-1)x^2+2\frac{6-2\sqrt{5}}{4}{x}^2=1 \\ \Rightarrow x^2-(\sqrt{5}-1)x^2+(3-\sqrt{5})x^2=1 \\ \Rightarrow 5x^2-2\sqrt{5}{x}^2=1 \\ \Rightarrow x^2=\frac{5+2\sqrt{5}}{5} \\ x=\pm \sqrt{\frac{5+2\sqrt{5}}{5}} \\ {y}^2=\frac{3-\sqrt{5}}{2}\times \frac{5+2\sqrt{5}}{5} \\ y=\pm \sqrt{\frac{5+\sqrt{5}}{10}} \end{gathered}$$
  所以绿色曲线上2-范数最大的向量是：
$$\left(\begin{array}{c}\pm \sqrt{\frac{5+2\sqrt{5}}{5}}\\ \pm \sqrt{\frac{5+\sqrt{5}}{10}}\end{array}\right)$$
  那么它的二范数就是：
$$\begin{gathered} x^2+y^2=\frac{5+2\sqrt{5}}{5}+\frac{5+\sqrt{5}}{10} \\ =\frac{15+5\sqrt{5}}{10}=\frac{3+\sqrt{5}}{2} \end{gathered}$$

奇异值

  好了，但是这样求2-范数也太麻烦了吧，要解二元二次方程组，还要用到微积分或代数几何知识？其实大可不必。奇异值就是用来做这个事情的，奇异值的定义是$A^{H}A$的所有特征值。以上例中的秩为2的矩阵来说，它有两个奇异值：
$${\sigma }_1=\frac{3+\sqrt{5}}{2},{\sigma }_2=\frac{3-\sqrt{5}}{2}$$
  这恰好是对单位圆拉伸的最大与最小长度,而且这两个拉伸方向是成正交的。对于高维的矩阵，就分别是球体的$n$个方向的拉伸倍数，这几个方向中有最大拉伸倍数也有最小拉伸倍数。所以通过二维的变换就可以更容易理解奇异值。