我眼中的线性代数

说起线性代数，这是一个让许多大学生头皮发麻的科目，原因在于这门科目过于抽象，不好理解。但是认真学习之后会发现线性代数可以很巧妙地用数字描述几何中的特征与变换。在此我也想通过这篇文章来谈一谈我认识的线性代数，主要介绍我所了解的几何意义。

目录
一、什么是线性
二、矩阵
三、行列式的几何意义
四、列向量、秩、逆矩阵
五、特征向量与特征值
六、二次型与惯性定理

第一章 什么是线性

首先我打算从何为线性开始谈起。线性是指量与量之间按比例成直线关系。换言之，线性更多地在描述讨论满足一个式子的关系

即是线性映射，而对于f（x）=ax+b这样的式子不符合上述性质，这可以称为是线性方程，我暂且称之为仿线性映射（仿射）。不难发现，在空间中这实际在说这样一个道理：如果把坐标系画成网格状，那么组成这个坐标系的所有直线满足两个条件：1、这些直线在进行变化（即这个映射）的过程中不会出现扭曲，直线任是直线；2、原点还在原来的位置。比如说，上述的f（x）可以看成y轴与x轴之间的映射关系，a是伸缩的倍数，而b是平移的距离，那么原点位置发生改变，显然不满足这些规定。在此不做过多讨论。

此处值得说明的是可加性和齐次性中的x，y可以代表多东西，数、向量、矩阵等。这也是线性代数主要研究对象。可想而知在之后讨论的几何意义中全都是一次关系，没有二次关系如x^2，xy之类的式子出现。后面学习的二次型研究的也不是二次关系，而是研究一次线性替换。其实生活中和学术中碰见的问题绝大多数都不是线性的（即非线性），但往往可以从中提取出线性元素进行表达，然后运用编程解决部分问题。对于线性的认知点到为止，不再作更深入讨论。

第二章 矩阵

矩阵是线性代数研究的主要主体。定义在此不做说明，它长这个样子：

现在我们来看看一个矩阵说的是啥。
作为一个优秀的大学生，应该知道向量是啥，空间中的一个有向线段。矩阵就可以看成很多个列向量组成的表A=（a1，a2，a3，……an）而由这些向量任意线性组合而成的空间就是他们张成的空间，表达式为那么对应于我们熟知的直角坐标系来说，可以把这些线性无关的向量当做一个“奇怪”的基向量，也可以说这样一个矩阵实际上是对原有的标准基向量做一个相应的变换（旋转和伸缩），接下来举一个简单的例子，拿二维说事吧。先看看下面这个二阶单位阵

这个矩阵从向量角度考虑代表什么呢？

它实际代表的是向量（1，0），向量（0，1）张成的空间（这个空间是由这两个向量任意线性组合得到的）的基向量，换言之，就是这个直角坐标系的两个基向量。那么在看看下面这个矩阵：

这个矩阵又代表什么呢？让我们看看这两个向量张成的空间，这两个向量的张成空间仍然是这样一个平面，不难发现主要原因是这个矩阵的秩为2，即两个向量是具备无关的属性，但是在这个新的空间中，这个矩阵代表的基向量是（1，0）和（2，1），也就是说这里的y轴仍然是原直角坐标系的y轴，而x轴变换为红线所在直线，也就是说这个矩阵的几何意义就是将原x轴旋转到红色直线然后拉伸为原来的根号5倍。

说到这里大家可能就会发现了矩阵的几何意义：对原来的坐标系进行旋转、拉伸，在这里统称为“空间变换”。以此类推，对于n阶矩阵来说也是这样一个变换（假设秩为n），即对n维空间进行空间变换。接下来我们看一个例题来检验一下你是否学会。
请写出描述原直角坐标系旋转一个角度的矩阵（建议自己思考一会），答案如下

设这个旋转矩阵为A，两个列向量分别为新基向量i，j，有一个点（x，y），这个点被A作用后变为（X，Y），那么可以写成（X，Y）=xi+yj，很容易发现（x，y）被这样一个旋转矩阵作用后（或者说经过这个空间变换后）
，如果知道矩阵乘法的话这实际就是A(x,y)T=(X,Y)T（T表示转置）。这个例题也更好的让我们理解了矩阵实际就是一种变换。这个物理意义就是换一个参考系来描述同一个事情。
知道矩阵是变换后,我们可以更进一步理解矩阵乘法了。矩阵乘法实际上是在说几个变换一起作用，比如说A是伸缩变换，B是旋转变换，那么AB就是伸缩旋转变换，也可以说是对B空间里的向量作A的变换，但总体效果还是旋转伸缩一起体现。这个还比较好理解，接下来我们看看矩阵乘法的一些规则对应的意义。
矩阵乘法为什么要满足下面这个形式呢？

AB是将B做出A的变换，即将矩阵B空间里的向量，全部做A变换，最终全部容纳到矩阵A的向量空间内，可以重叠，重叠即降维（针对线性空间讲，非线性变换能扭曲重叠）其中矩阵的列数代表基向量个数，行数代表的意义是原向量空间的维度数。这段话可能比较难懂，所以我以一个实例来说明。设B是一个3x2的矩阵，行数为三我们认为是个三维向量，列数为二我们认为有两个这样的向量。设A是一个2x3的矩阵，列为三说明是一个涉及三个基向量（这里的基向量不考虑是否无关，仅仅表示可以接收的信息量）的空间变换，行数为二说明这两个三维向量在变化后需要容纳在这个二维空间中。这也就是降维打击。可以说A这个矩阵的列数代表可以接收的维度个数，至于变化后是几维度我们不关心，因为可以重叠降维或者说这就像是在投影，而只有B中向量的维数与A的接收维数匹配时，才能用A来作用B或者说才能将B中的向量放入A形成的空间中。这个问题到此论述完毕，过多细节不再探讨。

接下来我想用3x2的矩阵乘以2x3的矩阵来对比说明信息量
如图，蓝色向量分别为（1,0）（-1,2）（2,-1）为矩阵a

的三个基向量，注意到一点，他有三个基向量，但是只有两个维度，也就是说一个平面就能放下他的向量空间，如图很明显。问题在于将两个维度的矩阵A做矩阵B变换，B有三个维度。这就是之前所说和投影的区别，投影会丢失信息，往往要用投影还原图像时还需要加入其它信息，比如另一个方向的投影，但是这个不需要，因为他的信息是完整的，即矩阵A虽然只有两个维度，但是包含了三个基向量，这三个基向量可以在三维中展开（这种展开升维只是用更高维的视角去看的时候，他的坐标需要多加一个维度表示，但是实际上并没有添加信息，如上图，原本可以用二维平面表示矩阵A空间，用xy坐标对就能全部表示，经过矩阵B变换，B的基向量用红色表示，原A基向量变成黑色向量，它虽然在标准直角坐标系中每个点需要xyz三个坐标表示，但实际上其向量空间仍然是一个二维平面，只是在三维空间中被倾斜放置了）
附黑色向量坐标 （有一个和红色的重叠了）
至于AB是多少不重要。

第三章行列式的几何意义

先让我们看一个简单的例子

看这个2阶方阵他的行列式几何意义如图
就是这个平行四边形的面积。

此外我们通过学习高等数学也知道向量混合积就是求三阶方阵行列式，这代表着斜六面体的体积。至此我们对行列式的几何意义有了个大致的了解。
接下来让我们研究一下行列式具体意义，首先我们要知道行列式到底在描述什么玩意。经过上面矩阵几何意义论述，我们知道矩阵实际上是一种变换，假设在标准直角坐标系中有一块面积区域，我们可以准确求出面积大小，然后让这个坐标系发生旋转伸缩，很容易知道这个面积区域形状也会随之改变，那么面积呢？显然面积也会随着改变。OK知道这个以后行列式的意义就能明白了，行列式实际上就是在描述这个面积变化的倍数。比如说这个图

绿色区域经过矩阵

变化后变成了橙色区域，面积变成了两倍。变大倍数正是这个行列式的值，如果行列式值为负值，说明坐标系被翻了面，简单的判断方式就是变化后的y轴在x轴的右边（这里的左右按从x轴转到y轴角度小的那边）。由于坐标网格做了相同变化，所以对于网格中任意区域面积变化一样。对于三阶方阵行列式研究方式一样，这个行列式代表的是立体图形体积的变化倍数，以此类推n阶也是如此，只是我们无法想象。
但有些可爱的同学会发现有时候行列式为0，这是什么意思呢？我们先看看为什么行列式会为0，比如说这个矩阵

很容易知道这个矩阵把x、y轴旋转到一根直线上了，这说明直角坐标系变成了一根数轴，然后问你区域面积，显然这区域变成0了，从维度的角度说的话，这个矩阵相当于降维。对于三阶也是如此，我们高等数学中学习的混积等于0说明三个向量共面正是这个道理，也就是说立体被压缩成一个面，体积自然是0。
知道了几何意义，我们再来看看行列式计算公式怎么来的。

先来看看如果a21，a12等于0，那么就是两个简单的向量（a11，0），（0，a22）对应的面积倍数也很容易知道是a11×a22，看看下面这个图就能知道这个公式怎么的出来的了。

行列式意义介绍到此结束。

第四章 列向量，秩与逆矩阵

秩在多数线代人眼中是指一个矩阵非零子式的最高阶数，比如说这个矩阵

这个矩阵的秩为2，因为它的二阶行列式不为0。当然这只是秩的一个定义，从这个定义我们看不出几何意义。接下来让我们从“矩阵由向量组成”的角度来看看秩的意义。看了上面矩阵这一章，我们知道矩阵可以认为是由很多个列向量组成（行向量一样，后面只讨论列向量），书上说秩也是列向量最大线性无关组中向量的个数，不知道大家对线性无关是否有足够的理解，在我看来线性无关研究的是这几个向量张成空间的维数，比如上面这个矩阵张成的空间是二维，秩就是二。再看看下面这个矩阵
，很容易知道它的秩是1，也就是说这两个向量张成的空间是一条数轴，从行列式等于0的角度也可以理解，就是空间变换使得二维区域压缩为一维，那么张成的空间维数自然是1。说到这里大家应该对秩有了一个新的认知。这个认知有利于让我们面对秩的问题时不那么迷茫，比如说下面这个这个例子
R（AB）≤min｛R（A），R（B）｝
大家跟我一起分析一下这个不等式，R（AB）是A作用于B后的新向量组张成的空间，由上面矩阵乘法的几何意义可以知道，AB就是把B的向量放入A形成的空间中，那么请问新向量组维数会变高吗？不但不会，而且维数不会高于A ，B中秩最小的那一个，为什么？为了简化，举个例子，AB=
R（A）=2，R（B）=1，R（AB）=1。接下来有点难理解，要认真了哦，B矩阵中两个向量张成的空间维数是1，也就是说一个维度就可以储存B中向量的信息量，注意了这里的信息量是指描述B中两个向量自身及其关系的信息，那么这就和上面说矩阵乘法举的例子一样了，把这两个向量放在被A操作后的这个空间中，会发现B中这两个向量升维了，但是他们的信息可以在一个维度描述清楚，换言之他们就在一个数轴上，只是用上帝视角观看，本质并没有改变。同样如果是R（A）<R(B)会出现相反的情况，也就是把一个高维空间压缩到低维空间，那么有些信息就被丢掉了，也就是投影会使某些维度信息丢失，丢失信息后，描述这些向量也就不需要原来那么多维度了，秩就减小了。那为什么有时候R（AB）<R（A），R（B）呢？比如说运气比较好的时候，可能出现这种情况，三维向量组压缩到二维空间的时候一不小心压缩到了一条线上，结果变成了一根数轴，这不就出现了小于两者秩的情况了嘛O(∩_∩)O，是不是很有道理。这个不等式讨论到这里。总结一下，秩的几何意义就是说列向量张成的空间的维数。不满秩说明这些向量组成的空间降维了，或者说这些向量的信息量可以在一个低维度中描述清楚。
ok，对秩有一定理解后我们再论行列式值为0，行列式值为0说明空间压缩，维度降低，所以为什么我们可以用行列式是否为0来判断是否满秩，因为他们都可以描述空间维度（其中行列式是间接反映）。下面由要讨论一个难点了，逆矩阵。
我们先看看这个表达式Ax=∧，A是矩阵，∧，x是向量，这个表达式是什么意思呢？意思就是一个向量x经过矩阵A变换后变成另一个向量∧，拓展开来x可以代表很多个向量，∧也可以代表很多个向量。喜欢思考的同学们会问x可以变为∧，那∧在什么情况下可以逆变换为x呢？这就是我们将要讨论的逆矩阵。
逆矩阵，顾名思义让空间变换效果逆过来的矩阵。我们先看看假设A的行列式不为0，似乎总可以找到一个矩阵B，使这个矩阵B与A的效果互逆。（至于这个逆矩阵怎么求，这篇文章就不介绍了。）那如果行列式等于0呢？会出现什么情况？A的行列式为0说明A把空间压缩到了一个更低的维度，但是我们永远无法找到一个矩阵可以升高空间的维度，虽然x的信息量有可能可以完整描述，但是空间无法复原，也就是说效果无法逆转。从这个知识你是否悟出来一点人生哲理呢？(^_)(^▽)自己想想吧！非常奇妙。这也就是为什么可逆与否取决于行列式是否为0。
（注初等行变换实际上是把表达式当做方程组来解决，几何意义没有太大讨论意义，这篇文章中不做讨论。）

第五章 特征向量与特征值

我们知道书中说的特征向量和特征值是在这个表达式中定义的。

其中A是矩阵，x是（非零）特征向量，λ是特征值。让我们看看这个等式在描述什么事情。A代表一种变换，x代表一个向量或一堆向量（在这里简化为一个），A变换作用于向量x后，x向量的所在直线不变，或者说x没变只是乘了λ倍。让我们看看在直角坐标系中的样子。

黑色坐标线是未经过A矩阵变换的基向量方向，经过A矩阵变换后，基向量方向为蓝色的两条直线方向，x向量一开始为黑色的向量，变化后为红色向量。这个图形实际上表达的是面 这个式子。

很容易发现特征值λ就是这个向量变化的倍数，正数同向，负数反向。（对于我们所学的线代知道这些足矣，感兴趣的往下看。）
其实特征值特征向量在我们所学的线性代数中体现不明显，我们仅仅用于做题，什么求特征值呀，求特征向量呀，但是在阅读文献的时候我发现了一些有趣的运用，在这里和大家分享一下，不过这个应用我也不太了解，只是简单的阐述一下。我们先看看生活中的一种现象，如果我们把一块石头丢进水中，会产生水波，这并不是水往远处传递，而是某水珠原地上下振动并把能量传递给旁边的水珠，于是能看见波浪往外推移，而且水波的振幅不断变小直至为0。现在看看特征值体现在哪，在由某块有着特定质量和形状的石头被以某种角度和速度投入某个面积和深度特定的水池中所决定的某个矩阵中，纹波荡漾中水珠的渐变过程中其特征值起着决定性的作用，它决定着水珠振动的频率和幅度减弱的衰退率。（不深入研究，我了解的也比较少）。
振动有频谱，矩阵也有矩阵的谱，这谱就是有特征值组成。比如一对士兵通过桥梁的例子。传统上，他们要停止齐步前进而要散步通过。这个理由是因为他们可能以等于桥的特征值之一的频率齐步行进，从而将发生共振。就像孩子的秋千那样，你一旦注意到一个秋千的频率，和此频率相配，你就使频率荡得更高。一个工程师总是试图使他的桥梁或他的火箭的自然频率远离风的频率或液体燃料的频率；而在另一种极端情况，一个证券经纪人则尽毕生精力于努力到达市场的自然频率线。特征值是几乎任何一个动力系统的最重要的特征。
矩阵对物理信息而言有着独特的性质，如果一个物理性质可以由矩阵描述，那么一个信号（相当于向量）传入，在经过矩阵变化后会发生伸缩，旋转等变化。唯独特征向量才会稳定的伸长或收缩。那么如果我需要一个特征信号，我们就可以让这样一个矩阵反复作用这些信号，最终得到的最清楚的信号就是特征信号或说特征向量。（不说了不说了，太费脑子。）
对于PCA（主成成分分析）还有话可说。(ಡωಡ)hiahiahia。首先看看信息量，看看下面这
三个图分别把所有信息投影到x1轴上，图一投影的离散度较大，图三次之，图二最小，或者说图一投影后信息的区分度最大，而图二区分度小，用方差来解释的话，图一方差最大，图二最小。信息量，离散度，区分度，方差对应关系应该比较容易看出来。我们现在想把这些椭圆上的信息降维处理，很容易知道我们要保留信息量较大的那个数轴，图一保留X1，图二保留X2，图三都不太好，但是如果把坐标轴旋转。

我们就可以用红色的轴来降维了。其实，经过数学上的推导的，特征值对应的特征向量就是理想中想取得正确的坐标轴，而特征值就等于数据在旋转之后的坐标上对应维度上的方差。

这个就是特征值和特征向量的一个实际应用——得出使数据在各个维度区分度达到最大的坐标轴。特征向量和特征值就说到这里。

第六章 二次型与惯性定理

终于终于来到了我想讲的最后一章内容(´▽`ʃ♡ƪ)。这章我们来看看二次型的几何意义。二次型的定义自己看书，在这篇文章不多提了。在第一章“什么是线性”中我就提到过二次型，我们研究的不是二次型的性质，而是研究线性替换。那么什么是线性替换呢？

看看上面这个式子，这就是线性替换。由前面说的矩阵意义，我们可以知道这实际是用矩阵作用后的的基向量替换原来基向量，换言之就是换个坐标系。接下来我们看看二次型的几何意义是什么。二次型说白了就是一个方程曲线，让我们看几个。

接下来我们结合线性替换看看二次型。二次型所确定的图形在变换过程中不动，仅仅是改变坐标系。但是在不同基向量表示下会变成不同形状。比如说椭圆变圆

实际图形没变只是换了个角度看它而已。Ok，知道这些后，我们可以知道实际上线性替换想要达到的目的就是在一个特定的坐标系中看清它的真面目，知道这是个什么图形，我们来看看为什么要用非退化的线性替换。退化也就是不满秩，也就是说会把空间压缩降维，那么请问图形还能保持吗？显然不能，从信息量来说，这样变化可能有信息丢失，那么原来样子就没有喽。甚至面目全非。不信的话就看看

你看看，你看看好好的一个椭圆变成了两条平行线😭😭😭😭，惨兮兮。
这就是我们为什么要用非退化矩阵的原因。我们常见的二次型的矩阵是实对称矩阵，有很特殊的性质，为什么，你知道吗？实对称矩阵有n个线性无关的特征向量，那么我们就可以正交化这些特征向量。

由上面这个推导我们知道用X=PY来替换，P正好是特征向量构成的矩阵，诶你说巧不巧，这些特征向量可以正交化，那么这个变换是什么意思？说明我们变换后采用的坐标系是一个直角坐标系（各个基向量相互垂直）。或者说相当于把原直角坐标系旋转伸缩。那么我们在单位化一下呢，不就只是旋转了吗！那么图形在新坐标系下形状和原来不就一样了吗！这岂不是很好判断。二次型与线性替换到此结束。
接下来我们看看惯性定理。二次型的标准型可以不唯一，这取决于线性替换，但是规范型唯一，这就是惯性定理的重要意义之处。惯性定理说明了图形的本质形状，比如说下面这个二次型，代表者一个椭圆，那么经过一定的线性替换之后，一定可以变为下面这个标准的椭圆（圆是特殊的椭圆，圆可以说是椭圆的规范型）。

这就是由正负惯性指数决定的，这个指数决定了规范型的最终形态，也就是图形的最纯朴的模样。

我眼中的线性代数这篇故事就说到这喽。线性代数在很多人眼中或许比较枯燥无味，因为全篇下来全是数字，看着头皮发麻，这篇文章简单讲述了一下线代的几何意义，希望读者能够重建对线性代数的热情，一起来感受一下一堆数字背后的空间世界吧。下面是作者以及核心支柱者的QQ，欢迎大家和我们一起讨论。完结撒花！

作者QQ：1215686324
核心支柱QQ：2868892460