【Lecture2】线性代数复习

当我们处理图像的时候，实际上是在和矩阵打交道，因此自然少不了线性代数。详细的内容可以直接看飞飞的课件，如果不追求证明的话可以拿来就用。课件讲到了SVD，看了课件提到的if you're interested的资料，里面有SVD的几何解释，对于理解SVD大有裨益，在此处做点笔记。

=======================================================================================

先来看一些线性变换矩阵的几何解释：

先从一个简单的矩阵M开始，，

把M乘以一个平面上的任意一点(x,y)可以得到，

对应的几何解释如下图：

经过M的作用，左边的红色正方形的水平宽度变为原来的3倍，竖直方向上没有发生变化。像这种只在主对角线上元素不为0的矩阵可以用于缩放，我暂且称之为缩放矩阵。

=======================================================================================

现在把M变复杂一点点，加入次对角线上的元素，，注意到这是一个对称矩阵。

它干的事情是这样的：

好像根本看不出来在干什么，莫急，我们把所有组成格子的直线都逆时针选择45度，变成了这样：

现在可以看出来，矩阵做的事情是：先把网格旋转45度，再沿其中一个方向拉长至原来的3倍。

如果把左图的平行于网格线方向的向量用Vi表示，则左图到右图的关系可以用公式表示，看到这个矩阵乘向量等于实数乘向量的形式，就应该醒目了，就是的特征向量，3是特征值。更一般地，对于一个对称矩阵，我们总可以通过这样旋转45度的方式找到它的特征向量。或者换一种联系上下文的讲法，对于对称矩阵M，将要变换的向量先旋转45度再相乘时，对称矩阵M的作用和对角矩阵一样。

=======================================================================================

假如M不是对称矩阵，而是更一般的矩阵，用同样的方式能不能找到M的特征向量呢？

举个栗子，，当然其实这个矩阵也没那么一般，它作用于向量时产生的操作叫做shear，效果是这样的：

好那我们先旋转一下看能不能找到特征向量，先转个30度吧。

嗯，还不够，再转30度。

好像差不多，但细看是多转了一点的，这里不给出证明，其实真正需要旋转的角度是58.28度。

===================================下面开始导出SVD的公式==================================

对于一个2x2的矩阵M，我们总可以找到一对正交的向量v1和v2，使得Mv1和Mv2也是正交的向量。

分别用u1和u2表示Mv1和Mv2的单位向量，用1和2表示对应的长度比例，则Mv1和Mv2分别可以这样表示：

Mv1 = σ1u1

Mv2 = σ2u2 

对于在v1和v2张成的向量空间中一个任意向量x，可以用v1和v2这样表示：

x = (v1x) v1 + (v2x) v2

经过M的变换后变成：

Mx = (v1x) Mv1 + (v2x) Mv2 

也就是：

Mx = (v1x) σ1u1 + (v2x) σ2u2

把v1x和v2x用矩阵相乘的形式表示，可以得到：

Mx = u1σ1 v1Tx + u2σ2 v2Tx 

把两边的x去掉得到：

M = u1σ1 v1T + u2σ2 v2T

把向量u1和u2合并成矩阵U，v1和v2合并成矩阵V， σ1和 σ2用由它们组成的对角矩阵Σ表示，得到SVD的公式：

M = UΣVT