线性代数骨干知识点串烧

从本次博客开始，将要向大家展示在线性空间内，如何实现一系列的变换。最终的目的只有一个，就是在变换当中，要么能够减小计算量、要么能够透过矩阵当中大量的数字理解到其对空间造成的影响，这个影响可以通过几个简单的数字来描述。好了，是不是有点儿云里雾里，马上进入正题。本次的标题是“线性代数骨干知识点”，我深切地希望大家在学习线性代数时候，一定要掌握其中最精华的内容，这些精华的内容能够帮助我们回忆起一连串的相似知识点，从而完成对整个线性代数系统性、直观性的理解。本次的内容将从以下三个方面进行展开：

1. 矩阵的四个子空间
2. 相似矩阵
3. 矩阵的特征值、特征向量和SVD分解

矩阵的四个子空间

在图像处理以及很多的应用问题上面都涉及到多个变量的共同变化，而我们所熟悉的向量可以被认为是具有n个相互独立的性质（维度）的对象的表示，这样，我们就可以很方便地在线性代数的范畴内开始解决实际问题。而我们所习惯的是，如何将某些具有相同性质的向量归类来进行抽象的描述，而不需要穷举出所有这些向量，数学家们就想到了空间的概念。在前一个线性代数博客《线性代数杂谈》当中，我们从人认识事物的直觉角度进行了分析，探寻矩阵、向量在线性空间内计算的所以然。
空间的定义有很多种，我们最熟悉就是我们生活的三维的欧几里得空间。一般而言，空间可以定义成某些具有特殊性质的元素聚集在一起所形成的集合，它包含无穷多个这些特殊的元素，不同的元素之间能够相互转换（运动），转换是广义的，而运动是狭义的。下图是$m\times n$的矩阵A四个子空间。矩阵A行向量所包含的元素个数为n，具有r个线性无关的向量，所以这些向量能够描述空间的能力就确定了，那么，想要对该$R^n$空间内所有向量进行描述，就必须将剩下的$n-r$个向量补齐，从而引出了行向量的零子空间，红色所示。该零空间内的向量和行空间具有相互垂直的特性，可以理解为行空间内的任意向量和零空间内的任意向量进行内积，所得结果为0。同样的，A矩阵的列空间也具有相似的特性，与列空间对应的零空间称为左零空间，这是因为如果将左零空间内的一组线性无关的基向量组成矩阵N，这个矩阵要放在A的左侧相乘，并且还需要转置成$N^T$，即$N^T A=0$到此，四个子空间形成了完备的体系，下面我们举一些例子说明。

1. 解方程组$Ax=0$就是寻找矩阵A的零空间内的所有向量；
2. 解$Ax=b（b是矩阵A列空间内的向量）$就是求一个A矩阵列向量的线性组合，找到线性组合的系数；
3. 解$Ax=b（b不是矩阵A列空间内的向量）$就是找到一个近似解$\hat{x}$使得b这个游离在A列空间外的向量能够找到一个A列空间内的和它最接近的向量，解此类方程组，得到的是方程组的最优解。

求解第三种问题的方法最基础的就是最小二乘法。

不用多说，看图，已知在直角坐标系当中的n个点，我们试图通过最小二乘的方法得到一条直线，让这条直线尽可能地靠近这些点，标准就是

$$S=\sqrt{\sum_{i=0}^n {(y_i-a_0-a_1x_i)^2}}$$ 其中， $e_i=y_i-a_0-a_1x_i$代表第i个点与直线之间的偏差。 看到平方和再开方，我们一定要想到是否是某个向量的模长。那么，问题转化成 $\overrightarrow{e}=\begin{bmatrix} e_1& e_e \cdots & e_n \end{bmatrix}^T$在什么时候模长最小。
$$\overrightarrow{e}=\begin{bmatrix} e_1\\ \vdots \\ e_n \end{bmatrix}=\begin{bmatrix} y_1-a_0-a_1x_1\\ \vdots \\y_n-a_0-a_1x_n \end{bmatrix}=\begin{bmatrix} y_1\\ \vdots \\y_n \end{bmatrix}-a_1\begin{bmatrix} x_1\\ \vdots \\x_n \end{bmatrix}-a_0\begin{bmatrix} 1\\ \vdots \\1 \end{bmatrix}=\begin{bmatrix} y_1\\ \vdots \\y_n \end{bmatrix}-\begin{bmatrix} 1&x_1\\ \vdots &\vdots\\1 &x_n \end{bmatrix}\begin{bmatrix}a_0\\a_1\end{bmatrix}=\overrightarrow{y}-M\overrightarrow{x}$$
好了，到这里，最小化改向量的长度，就可以理解成为：尽管向量 $\overrightarrow{y}$不在矩阵M的列空间当中，我们要尽可能地在M列空间上找到一个最近接近于 $\overrightarrow{y}$的就是最优向量、那么，问题转换成寻找这个最优向量。因为高维度的空间我们无法形象地想象，所以设想一个三维空间的平面，在平面外的一个向量，如何找到投影矩阵能够很好地完成这一任务：关于矩阵M的投影矩阵P（Projection Matrix）， $P=A(A^TA)^{-1}A^T$将这个P作用在 $\overrightarrow{y}$即可得到投影 $b_p$。得到投影之后， $Ax=b_p$一定有解。下图中 $\overrightarrow{b}$在平面上的投影是 $\overrightarrow{p}$， $\overrightarrow{e}=\overrightarrow{b}-\overrightarrow{p}$，当误差向量 $\overrightarrow{e}$与平面垂直时，找到的 $\overrightarrow{p}$与 $\overrightarrow{b}$才最接近。同样地，在高维空间内，这种方法也适用。

好了，到此为止，我们就能够轻松理解线性代数里面的最小二乘的来龙去脉，还是那句话，知其然，一定要知其所以然。

相似矩阵

在上一讲提到过，描述一个空间当中的对象，需要适当的一组基和一个向量。而对这个对象进行变换，我们只能够通过选定基和向量之后，以此为“描述语言”进行。不同的“语言”之间，本来是不能够相互直接交流的，但是存在一个相似矩阵的东西，它就像是翻译官，负责对双方的含义进行解释，能够建立语言之间的联系，完成转换。那么，我们看一下具体是如何操作的：
假设在一个线性空间内，有两个不同的坐标标架，我们定义为$\begin{bmatrix}\alpha\end{bmatrix},\begin{bmatrix}\beta\end{bmatrix}$。在这个空间内，执行相同的线性变换，如果采用$\begin{bmatrix}\alpha\end{bmatrix}$基，那么这个对象在变换之前坐标为$x_1$，变换之后的坐标为$y_1$，采用$\begin{bmatrix}\beta\end{bmatrix}$基,，这个相同的对象在变换之前坐标为$x_2$，变换之后的坐标为$y_2$。下面是变换的计算公式

$$T_1x_1=y_1\\T_2x_2=y_2$$
在上一讲中提到，矩阵的乘法可以描述空间当中的一个变换，存在可逆矩阵P，能够使得 $\begin{bmatrix}\alpha\end{bmatrix}P=\begin{bmatrix}\beta\end{bmatrix}$(此处右乘P是为了产生对 $(\begin{bmatrix}\alpha\end{bmatrix}$列向量的批量线性组合)。既然P作用于基向量产生了变换的效果，那么作用于这些向量的线性组合也是会产生相同的效果，由于：
$$\begin{bmatrix}\alpha\end{bmatrix}x_1=\begin{bmatrix}\beta\end{bmatrix}x_2$$ 将 $\begin{bmatrix}\alpha\end{bmatrix}P=\begin{bmatrix}\beta\end{bmatrix}$代入上式，得到：
$$\begin{bmatrix}\alpha\end{bmatrix}x_1=\begin{bmatrix}\alpha\end{bmatrix}Px_2$$ 从而得到： $$\begin{bmatrix}\alpha\end{bmatrix}（x_1-Px_2）=0$$ 因为 $\begin{bmatrix}\alpha\end{bmatrix}$各列线性无关，所以此方程组只有零解。所以， $x_1-Px_2=0$，从而得到： $$x_1=Px_2$$
同理，可以得到： $$y_1=Py_2$$
我们的目标是找到 $T_1$、 $T_2$和P之间的关系，故：
$$(T_1P-PT_2)x_2=0$$
从而有： $T_1=PT_2P^{-1}$
这里需要解释一下，为什么P是可逆方阵。
$\begin{bmatrix}\alpha\end{bmatrix}x=0$只有零解；同样地， $\begin{bmatrix}\beta\end{bmatrix}x=0$也只有零解。将 $\begin{bmatrix}\alpha\end{bmatrix}P=\begin{bmatrix}\beta\end{bmatrix}$代入到上式， $\begin{bmatrix}\alpha\end{bmatrix}Px=0$应该也只有零解。假设，存在一个 $x_0\neq0$，使得 $Px_0=0$，那么 $\begin{bmatrix}\alpha\end{bmatrix}Px_0=0$，方程有非零解。矛盾。所以， $Px=0$只有零解，从而得到，P可逆。
总结：在不同的基描述下（其实是不同的基存在优劣），同一个线性变换具有不同的变换矩阵，但是这些不同的背后具有一个隐藏的关系，就是相似。为什么要这样？原因之一就是计算机当中需要大量的变换的计算，为了简化计算，例如对角矩阵的连续乘法如果矩阵不是对角化的，计算量将会比较大，耗费大量资源和时间；或者，我们做完变换之后还需要进一步分析问题，而人们的习惯就是将问题抽象成几个独立的数字，从定量出发再到定性分析，例如，当我们选取矩阵的特征向量作为基时，一个线性变换最核心的内容就暴露了出来——特征值就是描述该变换的定量描述。所以，我们需要寻找一个合适的变换矩阵来描述这一线性变换，达到简化计算、容易理解的目的。

特征值、特征向量与SVD分解

在这一部分，我们先思考一个问题：既然给定了一个矩阵，它能够对空间当中的某一个对象进行变换，从而得到另外一个不同的对象。一般来讲，这些不同的对象之间要么方向发生改变，要么大小发生改变，更一般的是两个属性都发生改变。那么，是不是存在一些向量，这个矩阵作用于这个向量之后，其方向不发生改变，而只是长度改变了呢？
线性代数定义：如果一个向量$v$是方阵A（$n\times n$）的特征向量，那么，方阵对这个向量发生的作用就是拉伸：

$$Av = \lambda v$$
称 $\lambda$为特征向量对应的特征值。如果这个方阵性质良好，能够找到n个相互垂直的特征向量，我们将这些特征向量排成一列，组成矩阵Q，那么， $AQ=Q\Lambda$，其中， $$\Lambda=\begin{bmatrix}\lambda_1 &0& \cdots &0\\0&\lambda_2& \cdots &0\\ \vdots&\vdots&\vdots&\vdots \\0&0&0&\lambda_n\end{bmatrix}$$
从而，我们得到： $A=Q\Lambda Q^{-1}$
下面我们开始矩阵的SVD分解。
任意的矩阵A，都能够进行SVD分解：
$$A=U\Lambda V^T$$
下面，我们回顾博客最开始的四个子空间图（这张图是线性代数最最最重要的图，没有之一！！）我们对一个矩阵进行SVD分解，就是在矩阵的行空间当中找到一组合适的标准正交基（orthonormal） $v_1,v_2 \cdots v_r$，保证 $$Av_k=\sigma_ku_k$$ ， $u_k$是矩阵A列空间内的向量，并且一系列的向量 $u_1,u_2,\cdots u_r$都是正交的，并且是单位化的。前面的 $\sigma$就是拉伸的系数，也叫作奇异值。
$$A\begin{bmatrix}v_1&v_2&\cdots&v_r\end{bmatrix}=\begin{bmatrix}u_1&u_2&\cdots&u_r\end{bmatrix}\begin{bmatrix}\sigma_1&0&\cdots&0\\0&\sigma_2&\cdots&0\\\vdots&\vdots&\vdots&\vdots\\0&\cdots&\cdots&\cdots\sigma_r\end{bmatrix}$$ 使用矩阵的语言表达，就是：
$$AV=U\Lambda$$
在实际应用当中，我们可以将奇异值按照从大到小的顺序排列，这个时候注意U和V里面的向量也要发生对应的位置调整。下面的链接是我找到的比较好的对SVD分解的理解，大家可以好好看看。
强大的矩阵奇异值分解(SVD)及其应用
矩阵的奇异值与特征值有什么相似之处与区别之处？
奇异值的物理意义是什么？
线性变换的矩阵为什么要强调在这组基下?
总结：对矩阵进行上述的两种变换，其实就是理解线性变换。而我们理解线性变换，其实是理解一个空间内的任意元素（向量）作为自变量，通过变换成为了另外一个空间（或者还是自变量空间或者发生了变化）的元素，这个转换方法是什么样子。我们只要搞定了自变量空间内的一组基向量是如何变换到目标空间的基向量，那么，对于其他向量，是不是就能够通过这些基向量的线性组合来完成。基于这个想法，矩阵的特征向量以及SVD分解才出现在了历史的舞台，并且在很多的领域都扮演着核心的角色。如果矩阵是方阵，并且恰好能够在其行空间内找到满秩数量的相互垂直的基，那么， $AQ=Q\Lambda$，其实就是自家空间内的对这些特殊向量进行了一次拉伸。这个是有局限性的，限制条件就是首先矩阵必须是方阵，并且存在这个Q。而SVD分解就没有这样的限制，它强调的是可以在不同维度的空间内对两组基进行变换，这两组基一个存在于矩阵的行空间，另外一个存在于矩阵的列空间，其实还可以将行空间扩充，用零空间向量补齐；还可以将列空间用左零空间的向量补齐。如何扩展参考这里： 麻省理工线性代数SVD视频最后是精华。

总结

这次写的内容比较多，对于我这样的新手，写长文还是有点儿hold不住，比较容易烂尾。所以，我会在后续对这篇文章进行再次的梳理和扩充，将这个主题更好地呈现给大家，供欣赏指正。