线性代数学习笔记2-1：向量和向量组、线性相关/线性无关（张成空间的概念）

向量

何为向量

向量由长度和方向唯一确定，应该理解为自由向量，与位置无关
在数学中常规定向量的起点在原点，而在物理中称向量为矢量，也不再规定其起点位置

向量的理解

1. 数学中，通过一个点的坐标，唯一给出一个向量
   （注意，本来向量需要起点和终点共同确定，但这里默认向量起点在原点）

向量与点的关系？

• 由于默认向量起点在原点，在不混淆的前提下，也可以直接用点来代表向量，这样在向量过多时无需再思考复杂的箭头
• 书写时为了区别于点(x, y)的写法，故常写“列向量”形式$[x,y{]}^T$

2. 本质上，向量中几个数字的意义，应理解为标量scalars，他们是向量在特定坐标系下的 [坐标]
   某个向量，实际上就是用这些标量scalars对相应的基向量$\mathbf{i}$和$\mathbf{j}$进行缩放scaling后叠加，因为谈论“坐标”依赖于当前使用的基向量，从这一点来看，坐标$\ne$向量，坐标+基向量=向量，我们平时说向量$[1,2{]}^T$等等，其实是默认了在标准坐标系下描述向量，其基向量就是$[1,0{]}^T$和$[0,1{]}^T$

• 标量scalars的观点非常重要，“标量”就是指向量中的一个个数字，我们将其视为对基向量的缩放因子
• 当我们采用这种观点看待空间中的向量$\vec{v}$的来源时，我们就把这些标量（单纯的一系列数字）称为$\vec{v}$在该坐标系下的坐标

3. 计算机科学中，向量单纯就是“数字列表”的高级说法，有n个数字就是n维向量

向量组

向量组就是一系列向量的集合

向量组和矩阵可以相互转化，向量组就是矩阵，矩阵就是向量组
（因此两者的秩等概念是相通的）

引入：张成空间

我们考虑两个向量所有可能的线性组合（用所有可能的实数标量对它们进行缩放并叠加），得到的向量的集合，称为这两个向量张成的空间（span）

• 大部分情况下张成空间span是整个平面；两向量共线时，span为一条直线；两向量均为零向量时，span为一个点
• 再推广到三维情况下的张成空间
  先想象一个三维坐标系，然后考虑两个三维向量：他们的张成空间span是一个平面
  这时加入第三个向量：
  ①正常情况下，三者的span为整个三维空间（可理解为之前的平面能够上下平移了，或是理解为完全利用了控制三个基向量的缩放的三个标量）；
  ②然而，如果第三个向量与前两个同平面，那么它的加入并不会改变span（即并不能表示出原先无法表示的新向量）
  这里，第三个向量对于张成空间span没有任何贡献，这就是线性相关

向量组的线性相关/线性无关

定义

对于$\mathbf{A}$的列向量组${\mathbf{a}}_1,{\mathbf{a}}_2,...,\mathbf{a}n$，研究方程${\mathbf{a}}_1{x}_1+{\mathbf{a}}_2{x}_2+...+{\mathbf{a}}_n{x}_n=0$（即$\mathbf{A}\mathbf{x}=0$）

• 若$\mathbf{A}\mathbf{x}=0$有唯一零解，则称向量组线性无关；
• 若$\mathbf{A}\mathbf{x}=0$有非零解/矩阵的零空间存在非零向量，则向量组线性相关；

$\mathbf{A}\mathbf{x}=0$有非零解/列向量组线性相关，则意味着其中至少一个向量可以被其他向量线性表出，例如若$x_1\ne 0$，则有$\mathbf{a}1=-\frac{{\mathbf{a}}_2{x}_2+...+{\mathbf{a}}_n{x}_n}{x_1}$

理解

向量组线性相关的概念，可以从两个方面理解：

1. 从几何上，向量组线性相关就是有多余的向量，多余的向量不能带来更大的维度，不能张成更大的空间；或者说，去掉它后，向量组能够张成的空间不变）
2. 向量组线性相关
   $⟺$向量组中至少有一个向量，能够被其余向量线性表出
   （实际上与前一种等价，因为这个多余的向量就落于其余向量构成的span中）
   $⟺$向量线性组合能够得到$\vec{0}$（线性组合的系数不全为0）
   $⟺$$\mathbf{A}\mathbf{x}=0$有非零解/矩阵的零空间存在非零向量/矩阵$\mathbf{A}$不可逆

注意，特殊情况是，向量组中包含有$\vec{0}$向量，那么这组向量一定线性相关，因为任何向量通过数乘0都能线性表出$\vec{0}$向量

3. 从解方程的角度， 矩阵的列向量线性相关$⟺$矩阵秩$rank<n$矩阵列数
   这表明消元后并不是所有列都是主元列，则一定存在$n-rank$个自由列，它们本质上就是前面的主元列的线性组合，故列线性相关
4. 列向量线性无关$⟺$矩阵列满秩$⟺$矩阵的零空间只有0向量（方程$\mathbf{A}\mathbf{x}=0$有唯一零解，没有非零解）
   理解：矩阵对应线性变换，变换前有多少个基向量，变换后仍然有多少个基向量，从而变换前后的点一一对应（方程唯一零解）

判定线性相关性时，可以随时在矩阵（可逆性）、空间和方程组的概念之间切换，哪个判据更容易判定就用哪个

线性相关的性质

• 矩阵的行初等变换，不改变列向量组的线性相关关系

• 这里可以从高斯消元法的角度理解，方程直接的加减不会改变约束、不会改变方程组$\mathbf{A}\mathbf{x}=0$的解，解不改变说明列向量组的相关性不变（方程解的情况决定了系数矩阵$\mathbf{A}$的列向量线性相关性：如果线性相关，方程有非零解，如果无关则只有唯一零解），更具体的说，若$\mathbf{P}$为可逆的置换矩阵，则方程$\mathbf{A}\mathbf{x}=0$和方程$\mathbf{P}\mathbf{A}\mathbf{x}=0$同解
  由上可见，上述的“初等行变换不改变线性相关性”不仅是说不改变列秩，同时也在说：相关的两列变换后仍然相关，无关的两列变换后仍然无关，或者说，$\mathbf{A}$的极大无关列向量组的列索引 = 初等行变换后的$\mathbf{P}\mathbf{A}$的极大无关列向量组的列索引
• 与之相对比，初等列变换虽然不改变列秩、不改变列极大无关组的向量个数，但会改变列向量的线性关系，例如原来无关的两列在列变换后可能变得相关
• 或者从另一个角度来看，将$\mathbf{A}$的列向量视为在标准正交基下的坐标，初等行变换得到$\mathbf{P}\mathbf{A}$相当于应用了基的过渡矩阵，这是在改变坐标系的基底，进而改变了列向量的坐标值，但显然这种观察参考系的改变并不会改变列向量之间的线性关系

• 结合方程来看：对于矩阵$\mathbf{A}$，假如有n个列向量，即$\mathbf{A}=({\alpha }_1,{\alpha }_2,...,{\alpha }_n)$
  那么，列向量${\alpha }_1,{\alpha }_2,...,{\alpha }_n$线性相关
  （矩阵对应线性变换，这说明变换后的基向量中存在冗余向量）
  $⟺$矩阵不满秩$Rank(\mathbf{A})<n$
  （列向量张成的空间，即列空间，即变换后基向量的张成空间；
  变换后的空间维数<变换前的空间维数）
  $⟺\mathbf{A}\mathbf{x}=0$有非零解
  （变换后空间降维，则有很多向量被压缩到零向量）
  $⟺det(\mathbf{A})=0$
  （空间降维则行列式为0，但前提是$\mathbf{A}$为方阵）