【线性代数】私人回顾

回过头好多年，又重新看本科时学的线性代数，还有读研时修的矩阵论，确实发现，原来线性代数这么美妙、完整。

大一线性代数考试的时候，就觉得线性代数考题还是挺简单的，长期的准备让我对线性代数的细节掌握的特别好，但没有深入理解；好多年过去，线性代数里的好多具体公式都忘记了，但是仍然对相似矩阵、特征值、特征向量、线性空间、行列式这些概念有印象。我这几天下载下来同济版的线性代数，又大致翻阅一遍，写一篇博客，记录一下自己对线性代数的理解。行文所到之处，没有刻意解释让看官明白我的理解和思考，所以看起来可能会感觉很跳脱，所以，权当是一篇私人回顾吧。

先说一下同济版的这本线性代数吧，这本教材不到200页，我认为太过于讲解概念和结论了，太过面向工程，把概念和定理给出之后直接给出例题和习题，没有充分的分析和证明，缺乏让读者思考的空间，这也是很多人不理解线性代数的一个原因。

1、线性方程组

线性方程组是比较好理解的一部分内容，从初中开始学习多元一次方程，到现在衍生到线性代数中，是一个连贯的桥梁。解多元一次线性方程组的过程就是对矩阵进行的初等变换。

也就是说，线性方程组是矩阵这一概念的一个实例化，实例化这一概念来自于面向对象编程当中的类的实例化。矩阵和线性空间可以称为一个类，现实世界很多东西都可以抽象为矩阵和线性空间，线性方程组就是这样一个概念：方程的系数对应着矩阵，常数项对应着向量，未知的元对应着基。

经过初等变换的矩阵具有等价关系，书中讲到，对于两个 m 乘 n 阶的矩阵 A 和 B ，充分必要条件是存在另外一个矩阵，能够将 A 变换为 B，这里就不列出公式了，也就是说，矩阵的初等变换实际上就是一个矩阵，而且这个矩阵一定是可逆的，满秩的方阵，这样的矩阵意味着不损失一点信息。

再看线性方程组中，等式的右边有常数项，如果左侧的待求解的元数量多过方程数量，那么得出的解一定不止一个，而是无数多个，若两者的数量差值为1，则解空间是一条直线，若差值为2，则解空间就是一个平面了，以此类推，不论经过多少可逆的初等变换一定无法改变这一差值，也就是经过可逆变换的矩阵，其最基本的特征，也就是秩，没有变。

所以，等价关系的本质就是维持一个矩阵，或者说一组向量（而且在线性方程组中引入了增广矩阵这一概念）变换前后的阶数不变，秩不变。再讲本质一点，任意一个实数矩阵 A，如果经过一个不损失信息的线性变换后，能抵达 B，那么两者等价。也就是说，这两者是可以互相转化的。

秩的本质就是一个矩阵的真实维度，若秩小于阶数，则矩阵中的信息表达存在冗余。

2、向量

在同济版的教材当中讲到，向量分为行向量和列向量，都叫向量，而如果透过本质来看的话，向量一定要以列的形式呈现，而如果以行的形式呈现，我们更应该叫这个为 1 乘 n 维的矩阵。

向量是一个数学模型，可以表示为一个矢量箭头，也可以表示为一个点，而实际上，在矩阵和线性空间中，向量的概念要比矢量或者点更抽象，任何一个东西都可以称为一个向量，就像线性方程组中，每一个解就是一个向量，多项式函数本身就是一个向量，甚至在信号与系统中，线性时不变系统也是一个线性空间中的向量。向量的本质就是构成线性空间的所有的元素。所谓的向量的矢量性，也是由线性空间的基本性质决定的。

教材中讲到，多个向量可以构成一个线性组合，而实际上，此处已经把每一个向量当成了线性空间的一组基，这一组基张成了一个线性空间。在以有限个多项式函数为向量所张成的线性空间中，维度一定仅仅是有限个，而多项式的系数是无穷多个，也就是说，想要使用多项式函数来将对应的线性空间张满，需要无限个多项式函数，有限个多项式函数一定张不满。只有对应类型的向量张满整个线性空间，才能使用矩阵抵达线性空间中的每一个位置。而有限个多项式函数显然达不到这一点。

但是！根据泰勒级数，三角函数恰好等于无限个项的多项式函数，正弦对应奇数次数的多项式，余弦对应偶数次数的，所以，无穷多个多项式函数张满线性空间，相当于无穷多个正弦函数和余弦函数张满了整个多项式函数线性空间。而多项式函数和三角函数之间的变换关系，就是矩阵。

再进行思考，无非，多项式函数张满的线性空间中，每一个向量，也就是每一个可以抵达的点就是任意的一个多项式函数，这样一个点，一定对应着用三角函数抵达的一个点。只不过两者的表示方法不同而已，多项式函数中是系数，而三角函数中是振幅，位移，相位。也就是说，对于世界上所有的函数，多项式可以无限逼近拟合的话，三角函数也一定可以 ，因为两者等价。

这让我联想到我本科学的另外一门课，信号与系统，所有电磁信号，转换到频域，一定是若干三角函数波叠加而成的。

回过头来，在教材中继续讲到，两个向量组相互表示的事，说白了就是秩相同即可相互表示，而这其中隐含着矩阵并非方阵的事实，对于普遍的实数矩阵，向量组a可以由向量组b表示，本质上还是，两者构成的矩阵是等价的，阶数维数不变，真实维数不变，即可相互表示，也就是，可以通过一个矩阵变换抵达。

所谓的向量组的相互表示，也就是线性无关性，本质上就是换基。书中这里将向量形象化成一个箭头矢量，失去了向量本来的抽象含义。若是线性相关的向量，则一定有冗余向量，换基后，也还是会存在冗余向量。而换基的过程，一定是给出了一个矩阵，矩阵的作用，就是变换。

换基是将线性空间看成了一个静态的事物，而基是描述线性空间的基础，由于基的相对性，我们更希望找到一组最好描述线性空间的基，这叫规范正交基，规范正交基的本质就是每一个基都只负责其中一个维度，完全不参与表述另一个维度。如何衡量一个基有没有参与表述另一个维度，需要使用向量的内积，它规定了取值需要投影，投影不是0就说明一个基在另一个基上有信息量。

3、矩阵

书中已经给出两个形象化的例子，一个是线性方程组，一个是向量组，两者其实都是线性空间的形象化表示，一种具体例子，且每一个都给出了一章的内容来介绍。但实质上，说的是一回事。

矩阵的乘法运算的结果在英语里，并不叫 product，而是 composition，所以，其实汉语中，将两个矩阵相乘的说法的确很误导人，因为这并不是乘法，而是一种综合得到的结果。这种中国人使用汉语引进西方科学技术的时候，真的有太多的地方误导人了，这是其中一个。

矩阵的本质是将一个线性空间变换到另一个线性空间，若这个变换是保真的，不失真实维度的，用数学语言讲，就是可逆的方阵，那么这两个线性空间就是等价的。所以等价这个概念是针对静态的线性空间而已的，而矩阵则是个动态的概念。

矩阵的本质也可以表述成使用不同基张成同一个线性空间，两组基之间的关系。

矩阵的本质还可以表述成将线性空间中的一个向量转换为另一个向量，形成向量的跳转，类似于在现实三维空间中，我从家走到了公司。

还可以表述成，如果“我”抽离出线性空间，从旁边客观的观察这个线性空间的话，横看成岭侧成峰，远近高低各不同，从横到侧，从远到近，从高到底的变化，也就是“我”的位置的变化，就是一个矩阵。

三者的表述含义其实是一样的，只不过每一次将动态的主体改变了而已，而实际上，不论线性空间，向量，还是“我”，都是静态的，真正动态的是矩阵，它来实现这个变换。

再细化一下，矩阵的每一个列向量，都是一个对当前线性空间的其中一个基的变换，全部变换完后，整个线性空间就变了。而矩阵的乘法也就变得非常好理解，不再是古怪的计算公式，相乘的左侧是矩阵，右侧则是静态的向量，向量的每一个值都是一个在当前线性空间中的对应的基的系数，将这个值乘在对应的基的变换上，就形成了新的值，这个过程，就是向量的乘法。乘法运算不如叫做变换运算，这个算法就是根据线性空间得来的。

在此基础上，对同一个线性空间做两次或两次以上的线性变换，就相当于于两个或两个以上矩阵相乘得出的新矩阵，这样的变换先后顺序不可以改变，但是满足结合律。

矩阵与一个实数相乘，本质上是对线性空间变换后的伸缩。两个同维度的矩阵相加，本质上是针对同一个线性空间分别做两次线性变换的叠加。所针对的都是原始的线性空间，这和乘法不同，所以满足交换律和结合律。

矩阵的转置是行列对调。这个过程的本质是共轭，由于线性代数在讨论实数域上的矩阵，所以共轭体现的并不明显。当引入了复数之后，共轭就意味着在实际空间和镜像空间中两个互相关联的点。这就有点类似我们照镜子，现实世界中有一个我，镜像空间中也有一个自己，两个对称出现，且有一定的必然联系。再者，由于线性代数这本书中所讨论的所有的线性变换都是基于方阵的，也就是可逆的，所以，将那些行数不等于列数的矩阵全都排除出去了。当进阶到矩阵论的时候，也要开始对非方阵的矩阵进行线性变换，这时，转置的意义就变得明显了起来，他保证了矩阵自身和共轭相乘后，仍然保持了自身的变换信息，且行列数相同。

伴随矩阵是一个更加让人匪夷所思的概念，教材中，首先定义了行列式的各个代数余子式，将各个代数余子式组合起来，构成了矩阵的伴随矩阵。矩阵与矩阵自身的伴随矩阵相乘，可以得到一个伸缩的单位矩阵，也就是说，当满秩可逆的时候，伴随矩阵的作用就相当于一个逆变换。和逆矩阵的作用完全一样，只不过区别就是系数的差别。

同样的，逆矩阵就是矩阵线性变换的逆变换，如果满秩则存在逆变换，否则不存在逆变换。我从家到公司是线性变换，从公司到家就是逆变换；可当我从家到了月球，那大概率我是无法再回到家了，所以这就是个不满秩的不可逆变换。

本书中所讨论的核心就是可逆方阵，但可逆方阵并不一定存在，这是一种最理想化，最令人期待的模型，但事实上，更多的情况是矩阵的行列维数不同，不满秩，不可逆等等。所以，在这种情况下，逆矩阵不存在，而伴随矩阵依然存在。伴随矩阵具备了一定的逆矩阵的性质，且在逆矩阵延伸不到的范围中，也保持了这种性质。

书中提到了解决矩阵问题的一种非常重要的方法，分块法：
1、分块法可以降低矩阵的待处理的维度；
2、分块法能够成立的基础是，如果线性空间中两个维度没有任何关联，变换到新的线性空间中依然没有任何关系，那么可以将这两个维度拆分开来处理。

4、特征值和特征向量

从特征值和特征向量的最基本定义来看，在当前的线性空间中，可能存在一些向量，它们经过一个线性变换后，使用另一组基表示出来，系数完全没有变，最多存在一个缩放。这个缩放就是特征值，这些向量就是特征向量。

实际上在线性空间中，特征向量描述了线性变换前后始终不变的东西，这是一个线性空间中最重要的东西，特征值仅仅是一个缩放程度而已。

特征向量在实数域上可以没有，可以1个，可以2个，可以无数多个。如果矩阵是实系数加权的单位阵，那特征向量无穷多个，如果在正交基下，所有的正交基任意相互轮换，得到的新的线性空间就没有特征向量。特征向量存在的很重要的条件就是，所选择的基一定要非正交，指必要条件，不论是变换前还是变换后。

书中通过二次曲线的代数式给出了正定矩阵的定义，对称阵为正定，充要条件是其特征值全部为正数。对称阵也是线性变换，当从一个线性变换转换到另一个时，特征值全部为正，也就是说在特征向量方向上，所有特征值都是在原本的方向上延展。一旦为负，则说明线性空间在这一方向上进行了翻转。如果为0，则说明线性空间在这一维度上收缩为0，真实维度少了一维。

5、相似矩阵

依然按照线性空间的概念来理解，根据教材中的定义，P逆AP=B，A 和 B 是相似矩阵，也就是说，存在一个线性变换 P，在此基础上做 A 变换，再将 P 反变换回去，就成了 B 变换。

由于矩阵是就是描述线性变换的工具，A 和 B 所描述的信息就是同一个事物，同一个变换，且P矩阵一定是可逆的，P矩阵也是描述了一个线性变换，所以，相似矩阵的含义是对同一个线性变换的不同描述。在不同的基组下，线性变换可以描述为B，但是将基组经过 P 变换后，再看同一个线性变换，就成了 A。在这种意义下，线性空间是绝对静态的，所有的基组，矩阵都是在从不同的角度描述一个绝对的事物。就好比地球是绝对的，我们或运动地观察，或站在原地观察，或飞去月球观察。

教材后面给出了一个线性空间的实例，二次函数，解析几何的例子，并且教学如何将二次型化为标准型，我认为这里有点冗余了，所谓的普通型和标准型，一定是相似的，只不过描述所选择的基不同而已。解析几何中二次曲线很多种，而采用极坐标系描述二次曲线有时效果非常好，比如圆。正交直角坐标系到极坐标系的线性变换也就是 P 矩阵，不论在哪个坐标系下，所经历的点的跳变，线性变换，都是相似的。

6、线性空间

整本书到了最后，才说到最基础最核心的概念，线性空间，我觉得这本书不算好的原因，这是一个。
线性空间8条定律，和数论中的域的概念比较相似。数论中 域 就是研究数，而线性空间所包含的内容要广泛的多，书中也指出，向量不一定就是有序数组，这一下就把向量这一概念从具象推向抽象，空间中的点是向量，箭头是向量，函数是向量，方程是向量，只要是能够组合成线性空间的元素都是向量。

基变换是指的线性空间与另一个线性空间的变换，而坐标变换则是同一个线性空间中，不同向量之间的跳变。

7、行列式

行列式本质是线性空间变换后的扩张程度，正值表示正向扩张，负值表示已经翻转向另一个方向扩张。所以，越来越感受到，正负之间 的差异实际上是方向的差异，尤其是在引入虚数之后，180度翻转即为负1。所以，行列式中给出了很多的性质，行列式值与转置后相同，两个列向量互换正负值改变等等，都在讲方向翻转这一事件。两个列向量互换，相当于两个基的转换互换。

行列式等于它任意一行的元素和各自代数余子式的乘积。伴随矩阵，也就是逆矩阵那里也有这个概念，所以，我对这块的理解还不够透彻。

8、总结

线性代数重要到很多工程领域都在使用这一数学模型，这一模型最重要的一点就是，它太简单，太理想化，太特殊了。如何理解线性二字呢？我认为线性的意思就是，均匀分布的，相互平行无干扰的，规律化的，可预测的。

这个世界上一定有很多的东西是无法用线性这个模型来刻画的，比如我记得课本时候有个实验课，专门讲混沌现象。混沌现象是随机的，我们只能观察到它，但是无法找出任何一个模型来拟合它，别说线性模型，就是随机模型也不行。

但是线性模型的确是很多工程在使用的模型，我们使用线性模型来拟合很多东西，比如信号与系统中，我们假想了一种线性时不变模型，并且据此得出卷积的概念，然后再发展到傅氏变换，拉氏变换，所有的这些的基础，都是线性空间和矩阵。由于线性时不变模型的简单性，可预测性，这才为人类所用，这是一个优化拟合的过程。而从空域转换到频域，s域，z域等等，并没有损失任何信息，这种时频转换就是一个线性变换。就是从多项式到三角函数的变换，前面我也说过了，两者是一回事。

线性代数的理解，我们很多人都是从矩阵和线性空间，以及向量开始的。但是有没有可能，从别的角度来理解这三个概念呢？我不知道。但是我清楚的是，仅仅从矩阵是变换，是跳变这一个角度来理解的话，不能很好的处理工程上所有的问题。

比如图像处理中，一幅图像是一个矩阵，但是这里我们把矩阵完全理解成了一组数据，而非一个变换。可图像也是一个信号，也存在高频分量，低频分量。图像是否是某个线性空间的变换也未可知。以我的图像处理的水平，我只能把图像理解为一串信号，只不过信号中的前后是有关联的，这个关联形成二维。