线性代数复习第一章——代数求解线性方程组

本文对应 线性代数目录下的第一章

1.线性方程Ax=b和代数解法

1.1 线性方程和其描述

线性代数说到底还是在研究线性关系。

1.1.1 线性方程介绍

线性方程可以表示成如下形式：
$$\begin{gathered} a_1{x}_1+a_2{x}_2=b_1 \\ {a}_3{x}_1+a_4{x}_2=b_2 \\ ... \\ {a}_{n-1}{x}_1+a_n{x}_2=b_n \end{gathered}$$
也就是多元方程组。

如果我们直接解这些方程会非常繁琐，将这些线性方程换一种表达方法会简化我们的运算，“把握变量中的不变量。”，也就是变量$x$前面的系数。

如果上述线性方程组改写成矩阵形式就是：
$$\left[\begin{array}{cc}{a}_1& a_2\\ a_3& a_4\\ ⋮& ⋮\\ a_{n-1}& a_n\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\\ ⋮\\ b_n\end{array}\right]$$
以上形式就是$\mathbf{A}x=b$的形式。

1.1.2 向量和矩阵

向量

向量就是有方向有大小的量。
向量的运算：

1. 向量加法
2. 向量点乘
3. 向量叉乘
   详细的运算法则见本人的这篇博客

矩阵

在向量的基础上构建矩阵的概念是很自然的，简言之，矩阵就是把这些向量堆在了一起，比如上文中的矩阵$$\mathbf{A}=\left[\begin{array}{cc}{a}_1& a_2\\ a_3& a_4\\ ⋮& ⋮\\ a_{n-1}& a_n\end{array}\right]=\left[\begin{array}{cc}\mathbf{c}& \mathbf{d}\end{array}\right]$$
其中$\mathbf{c}$，$\mathbf{d}$均为向量（加粗表示向量），那么上文中的方程$\mathbf{A}x=b$就可以表示为$\mathbf{c}{x}_1+\mathbf{d}{x}_2=\mathbf{b}$，这类式子就被称为线性组合。（这里的向量$\mathbf{c}\mathbf{d}$指的是列向量）

在本例中，如果从行视角来看待这个矩阵的话，就是一条条直线（形式就是$ax+b=c$，如果有三个变量就是一个平面）。如果从列的角度来说，就是两个多维向量的线性组合。

1.2 线性方程的代数解法

可能这一节的叫法没有那么精确，之所以我称它为代数解法是因为对矩阵做的一些最基本的行消去运算本质上和初高中求解线性方程组的方法没什么区别。

1.2.1 行消去法和阶梯型

基本行操作Elementary Row Operations：

a) Replacement
数乘其他的行与本行相加或相减。
b) Interchange
交换矩阵的两行
c) Scaling
对一行的所有元素进行数乘。

阶梯型Row Echelon Form

矩阵的阶梯型是由基本行变换获得的，它有如下的三个特点

1. All nonzero rows are above any rows of all zeros.
2. Each leading entry of a row is in a column to the right of the leading entry of the row above it.
3. All entries in a column below a leading entry are zeros.

第二条，每一行的主元都在上一行主元的右侧。

最简阶梯型Reduced Row Echelon Form

4. The leading entry in each nonzero row is 1.
5. Each leading 1 is the only nonzero entry in its column

每一行的第一个非零元素都是1；每个1都是其所处列的唯一一个非零元素。

1.2.2 初等矩阵Elementary Matrix

An elementary matrix is one that is obtained by performing a single elementary row operation on an identity matrix. The next example illustrates the three kinds of elementary matrices.

初等矩阵，记作$E$，是通过对单位矩阵进行一次基本行变换得到的，一个矩阵乘上初等矩阵（$EA$）的效果就是对该矩阵进行基本行变换。
比如：
$$E=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ -3& 0& 1\end{array}\right],A=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right]$$
$$EA=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g-3a& h-3b& i-3c\end{array}\right]$$

1.3 四个基本子空间

1.3.1 线性相关和线性无关

线性无关的定义

向量${\mathbf{x}}_1,{\mathbf{x}}_2,,\cdots ,{\mathbf{x}}_{\mathbf{n}}$线性无关的条件是：
它们的非零线性组合不会产生$0$向量，也就是
$$c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2+\cdots +c_n{\mathbf{x}}_n\ne 0$$

不满足上述条件的一组向量就被称为线性相关。

以上条件的推论：
如果矩阵A的零空间（下文有定义）只有0向量，那么矩阵$A$的列向量就是线性无关的。
如果矩阵$A_{n\times n}$中的列向量可以张成整个$R^n$，则这些列向量是线性无关的。

1.3.2 向量空间

向量空间需要满足以下几点条件：

1. 任意两个向量相加得到的向量应该还在向量空间内。
2. 任何向量的数乘要在向量空间内。
   向量空间一定包含零向量。

1.3.3 列空间和零空间

列空间

矩阵$A$的列空间就是由矩阵中的向量所张成的空间。

零空间

矩阵$A$的零空间就是由齐次线性方程组$Ax=0$的解构成的空间。零空间一定包含0向量。
（需要注意！线性方程组$Ax=b$的解不能构成子空间，因为子空间必须经过原点）

1.3.4 行空间和左零空间

行空间和左零空间本质上就是矩阵$A^T$的列空间和零空间。

左零空间

由上文可知，左零空间是矩阵$A^T$的零空间，由零空间的定义我们可以得到：
$$A^{T}x=0$$
两边同时转置之后可以得到：
$$x^{T}A=0$$
这里的$x^T$就是矩阵$A$的左零空间。

理解矩阵和向量相乘

1. 如果是形如$Ax$，那么所得到的结果就是矩阵$A$中列向量的线性组合。
2. 如果是形如$xA$，那么所得到的结果就是矩阵$A$中行向量的线性组合。
   （以上两条有助于我们从多角度理解之后的矩阵乘法）

1.3.5 四个子空间的维度

上一节是关于矩阵的四个基本子空间是什么的问题。这一节主要关注这四个字空间的维度。
如果一个矩阵$A$的维度是$m\times n$，且它的秩是$r$（主元数量），那么：

1. 列空间的维度是：$r$
2. 零空间的维度是：$n-r=\#\text{free variables}$
3. 行空间的维度是：$r$
4. 左零空间的维度是：$m-r=\#\text{free variables}$

Reference

1. Linear Algebra and Its Applications, Steven.R.Lay