线性代数相关理解

1、引言

这段时间，观看了3Blue1Brown大佬的线性代数的本质：【官方双语/合集】线性代数的本质 - 系列合集，感觉有所启发，此处记录一下相关笔记，如有错误之处，还请指出。

2、什么是向量？

向量：具有大小和方向的量，可以形象化地表示为带箭头的现段，箭头所指即向量方向、线段长度即向量大小。在计算机领域，我们通常把一个n维向量表示成一个n×1的矩阵，即
$$\left[\begin{array}{c}a1\\ a2\\ ⋮\\ an\end{array}\right]$$

3、什么是矩阵？

一方面，矩阵表示的是一个基，其中每个列向量表示了对应基向量的方向。

• 例：矩阵A所表示的是以 从(0,0)到(3,0) 和 从(0,0)到(0,5) 两个向量为基向量的基：
  $$\left[\begin{array}{cc}3& 0\\ 0& 5\end{array}\right]$$

另一方面，在乘法中，矩阵表示的是一种空间中线性变换的方式，其中每个列向量都表示了对应基向量所进行的线性变换。对矩阵B左乘矩阵A，相当于对A施加了一次矩阵B所进行的线性变换。

• 例1：原本的基以(1,0)，(0,1)为基向量，进行线性变换之后，变成以(1,-2)，(3,0)为基向量，所以原基中的(-1,2)在施加了相同的线性变换之后，变换为新基下的(5,2)
  $$\left[\begin{array}{cc}1& 3\\ -2& 0\end{array}\right]\times \left[\begin{array}{c}-1\\ 2\end{array}\right]=\left[\begin{array}{c}5\\ 2\end{array}\right]$$
• 例2：我们对基向量继续两次线性变换，此时矩阵乘积的含义是线性变换效果的叠加，这种叠加是有序的（即矩阵乘法不满足交换律）
  $$\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]\times \left[\begin{array}{cc}1& 3\\ 2& 4\end{array}\right]=\left[\begin{array}{cc}5& 11\\ 11& 25\end{array}\right]$$

4、什么是线性表示和秩？

对于一个向量/向量组，如果通过线性操作（矩阵加法、数乘操作），它能够表示n维空间中的所有向量，则称它所张开的空间是n维的，例：

• 对于一个向量，通过数乘操作，它可以表示它所在直线上的所有向量，我们称它所张开的空间是一维的；
• 对于由两个二维向量组成的向量组，若这两个向量不共线，通过矩阵加法和数乘操作，它可以表示某个平面内的所有向量，我们称它所张开的空间是二维的；若这两个向量共线，那它只能表示所在直线上的所有向量，所张开的空间是一维的；
• 更高维的以此类推。

线性表示：对于一个向量组而言，若其中某个向量可被其他向量线性表示，说明它落在了其他向量构成的向量组所张开的空间之中，对于向量组的表示能力（即以向量组为基底的基所能够表示的范围）没有帮助。

秩：对于一个向量/向量组，它的秩就是它所张开的空间的维数。

• 若一个三维矩阵的秩是2，说明有向量组有一个向量落在另两个向量所张开的平面中，向量组张开的空间是二维的。

关于非方阵的补充：

• 对于3×2矩阵，它的几何意义为两个三维空间中的向量所张开的空间，这个空间只能够是平面或直线（共线情况），所以秩最多为2；
• 对于2×3矩阵，他的几何意义为二维空间中的三个向量所张成的空间，三个向量一定是线性相关的，这个空间只能够是平面或直线（共线情况），所以秩最多为2。

5、什么是逆矩阵A^-1？

在前面提到过，矩阵的本质是表示线性变换的方式，逆矩阵就是进行逆向的线性变换，例如我们对单位矩阵E施加了矩阵A所代表的线性变换（即AE）后，在施加一个与A相逆向的线性变换（即A^-1AE），其结果显然为E，所以有AA^-1=A^-1A=E。

6、什么是线性方程组A$\vec{x}$=$\vec{v}$？

在线性方程组中，已知了线性变换的方式A，目标向量$\vec{v}$，需要求得向量$\vec{x}$，使得$\vec{x}$施加了A所表示的线性变换之后，与$\vec{v}$重合，以下分为齐次线性方程组和非齐次线性方程组进行讨论（假设满秩情况下，秩为3）：

1. 齐次线性方程组A$\vec{x}$=0
   1）若A为满秩（r(A)=n），只有零向量通过线性变换才能够得到零向量，即只有零解；
   2）若A非满秩（r(A)<n），假定r(A)=2，$\vec{x}$经过线性变换之后，其结果将被降维到二维（即落在一个平面上，或向量在该平面上的投影），此时$\vec{x}$可取值为该平面过原点的法向量方向上的一系列向量，它们的投影都在原点上，即有无穷多解。
2. 非齐次线性方程组A$\vec{x}$=$\vec{b}$
   1）若A的秩小于$\vec{b}$的维数（r(A)<r(增广矩阵)），假定r(A)=2，可以想象，任何一个三维向量$\vec{x}$被施加了A所代表的线性变换之后，都将被降维到二维，不可能与$\vec{b}$相重合，即无解；
   2）若A非满秩，且与$\vec{b}$的维数相同（r(A)=r(增广矩阵)<n），假定r(A)=2，此时A所张开的空间是一个二维平面，$\vec{b}$处在A所张开的空间之中，$\vec{x}$有无穷多种取值，使其线性变换之后（即在A所张开的平面上做投影）与$\vec{b}$相重合，即有无穷多解；
   3）若A满秩，且与$\vec{b}$的维数相同（r(A)=r(增广矩阵)），通过对$\vec{b}$进行逆变换，可求到唯一的$\vec{x}$，即有唯一解。

7、什么是行列式？

在前面提到过，矩阵的本质是表示线性变换的方式，对于以(1,0)，(0,1)为基向量的基中的某个区域，经过线性变换之后，这个区域的面积增大/缩小的比例，就是行列式的几何意义，我们以二维空间举例：

• 以(1,0)，(0,1)为基向量的基中，我们圈定一个边长为1的矩形，它的面积为1，我们对基施加如下变换
  $$\left[\begin{array}{cc}2& 2\\ 0& 2\end{array}\right]$$
  行列式的值为4，而面积也扩大为原本的4倍
  

在数学中有翻转的概念（Orientation），施加线性变换之后，若空间翻转了（对于平面，可以理解为纸张翻页），行列式的值/面积的变化量为负数。

8、什么是特征向量和特征值？

在进行n维空间中的线性变换时，将存在至多n个、至少0个方向上的向量，它们经过变换后，没有方向上的变换（即旋转），只有长度上的改变（即伸缩），这些方向上的向量即为特征向量。
对于某一个特征向量$\vec{x}$，我们对其施加A所表示的线性变换，即A$\vec{x}$，此时$\vec{x}$只存在长度上的变化，设变化的比例为λ，这种变化可以用数乘操作来表示，即λ$\vec{x}$，这两种表述是等价的（描述同一种事物——变换后的$\vec{x}$），即A$\vec{x}$=λ$\vec{x}$，这个λ即为特征值。