MIT线性代数笔记Lecture7-Lecture8

Lecture7 求解齐次线性方程组$Ax=0$

1.零空间的计算

• 计算方法
  例如：
  $$A=\left[\begin{array}{cccc}1& 2& 2& 2\\ 2& 4& 6& 8\\ 3& 6& 8& 10\end{array}\right]$$
  求解A的零空间。
  方法：利用消元法
  （消元法的本质是将一个方程的n倍加到另一个方程，因此不会改变方程组的解，可以用来求解零空间）：
  过程如下：
  Step1:
  $$A=\left[\begin{array}{cccc}1& 2& 2& 2\\ 2& 4& 6& 8\\ 3& 6& 8& 10\end{array}\right]\to \left[\begin{array}{cccc}1& 2& 2& 2\\ 0& 0& 2& 4\\ 0& 0& 2& 4\end{array}\right]$$
  通过消元，我们发现在第二行第二列的位置为0且在下面的几行中也找不到可以替换的行，说明第二列其实是前面各列的线性组合，也即和前面的列线性相关。这时候可以称第二列是自由（free）的。
  Step2：
  $$\left[\begin{array}{cccc}1& 2& 2& 2\\ 0& 0& 2& 4\\ 0& 0& 2& 4\end{array}\right]\to \left[\begin{array}{cccc}1& 2& 2& 2\\ 0& 0& 2& 4\\ 0& 0& 0& 0\end{array}\right]=U$$
  进一步，将矩阵可以化成如下的阶梯状的形式（echelon form）。通过观察可以看出矩阵的主元数量为2，也就是有效方程的个数为2，矩阵的秩（rank）是2。
  秩（Rank）在算法中的意义：
  对于一个$m\times n$的矩阵，
  它的秩$r=$ 消元后主元的个数，从方程组的角度本质是有效方程的数量。
  如果它的秩为$r$，它的自由变量的个数为$n-r$。
  Step3:
  根据$U$的主元变量，即每一行第一个不为零的数，得到主元列（pivot columns）和自由列（free columns），上例中主元列为1,3列，自由列为2,4列。
  free的含义：
  对于2,4列而言，我们可以取任意的两个数$x_2$和$x_4$，之后可以根据任取的$x_2$和$x_4$，利用方程组来求解$x_1$和$x_3$。
  Step4:
  (1) 假设：$x_2=1$，$x_4=0$：
  可以解得：$x_1=-2$，$x_3=0$，也即$x=\left[\begin{array}{c}-2\\ 1\\ 0\\ 0\end{array}\right]$。
  对于$x$:
  通过$x$可知第一列的-2倍加上第二列等于0向量。
  $x$是方程组的一个特解。
  $x$是0空间中的1个向量。
  (2) 假设：$x_2=0$，$x_4=1$：
  可以解得：$x_1=-2$，$x_3=0$，也即$x^{\prime }=\left[\begin{array}{c}2\\ 0\\ -2\\ 1\end{array}\right]$。$x^{\prime }$也是0空间中的1个向量。
  (3) 由以上两步得到零空间中的两个向量，由这两个向量的线性组合，可以得到整个零空间中的向量满足。
  $$x_N=c\left[\begin{array}{c}-2\\ 1\\ 0\\ 0\end{array}\right]+d\left[\begin{array}{c}2\\ 0\\ -2\\ 1\end{array}\right]$$
  Step5:
  为了以一种更清楚的方式得到零空间中的一组线性无关列向量：
  将$U$简化得到简化的阶梯矩阵$R$(reduced row echelon form):
  向上进行消元，将主元列中除主元外其他项变成0，然后将主元变为1；
  $$U=\left[\begin{array}{cccc}1& 2& 2& 2\\ 0& 0& 2& 4\\ 0& 0& 0& 0\end{array}\right]\to \left[\begin{array}{cccc}1& 2& 0& -2\\ 0& 0& 2& 4\\ 0& 0& 0& 0\end{array}\right]\to \left[\begin{array}{cccc}1& 2& 0& -2\\ 0& 0& 1& 2\\ 0& 0& 0& 0\end{array}\right]=R$$
  通过观察可以看出，在主元列和主元行恰好构成了一个单位阵$I$，
  而自由列和自由行构成的部分，设为$F$。
  假设$R$的前$r$列为主元列。
  $R$可以写为:$R=\left[\begin{array}{ccc}I& |F& \end{array}\right]$
  设$R$的0空间为$N$列向量构成的空间，
  $$RN=0,R=\left[\begin{array}{ccc}I& |F& \end{array}\right]$$
  $$\Rightarrow N=\left[\begin{array}{c}-F\\ --\\ I\end{array}\right]$$
  上述寻找$N$的过程可以描述为：
  （1）先在自由变量的位置写上一个$I$矩阵
  相当于寻找每个特解时，将一个自由变量设为1，其余全部设为0，对于上例：
  $$N=\left[\begin{array}{cc}\ast & \ast \\ 1& 0\\ \ast & \ast \\ 0& 1\end{array}\right]$$
  （2）将$R$的自由列取反后补充到剩余位置
  $$N=\left[\begin{array}{cc}-2& 2\\ 1& 0\\ 0& -2\\ 0& 1\end{array}\right]$$

---

Lecture8 求解非齐次线性方程组$Ax=b$

1.解法

• 例如：
  $$A=\left[\begin{array}{cccc}1& 2& 2& 2\\ 2& 4& 6& 8\\ 3& 6& 8& 10\end{array}\right],Ax=b,b=\left[\begin{array}{c}1\\ 5\\ 6\end{array}\right]$$
  与$Ax=0$类似，也是利用消元法：
  写出$Ax=b$的增广矩阵(augmented matrix)，之后经过消元变为阶梯矩阵的形式。
  $$\left[\begin{array}{cccccc}1& 2& 2& 2& |& b_1\\ 2& 4& 6& 8& |& b_2\\ 3& 6& 8& 10& |& b_3\end{array}\right]\to \left[\begin{array}{cccccc}1& 2& 2& 2& |& b_1\\ 0& 0& 2& 4& |& b_2-2b_1\\ 0& 0& 2& 4& |& b_3-3b_1\end{array}\right]\to \left[\begin{array}{cccccc}1& 2& 2& 2& |& b_1(1)\\ 0& 0& 2& 4& |& b_2-2b_1(3)\\ 0& 0& 0& 0& |& b_3-b_2-b_1(0)\end{array}\right]$$
• 方程组可解性（Solve Ability）：
  由之前学过的知识可知$b$在$A$的列空间时，方程组有解。
  这里可以用另一种思维考虑：
  若A的行的线性组合可以产生0行，右侧b按同种规则组合也为0。
• 如何求解$Ax=b$
  （1） Step1：找到一个特解(particular solution)
  将方程组的所有自由变量设成0，求解主元变量。
  上例中为：
  $$\{\begin{array}{l}{x}_1+2x_3=2\\ 2x_3=3\end{array}$$
  特解可以得出为：$x_p=\left[\begin{array}{c}-2\\ 0\\ 3/2\\ 0\end{array}\right]$。
  （2）Step2:方程的解可以加上0空间中任何向量，得到通解（complete solution）
  $$x=x_p+x_N$$
  解释：
  由$x_p$得到的过程可知$A{x}_p=b$。而$A{x}_N=0$
  得到：$A(x_p+x_N)=A{x}_p+A{x}_N=0$。
  所以例子中的解为：
  $$x=x_N+x_p=c\left[\begin{array}{c}-2\\ 1\\ 0\\ 0\end{array}\right]+d\left[\begin{array}{c}2\\ 0\\ -2\\ 1\end{array}\right]+\left[\begin{array}{c}-2\\ 0\\ 3/2\\ 0\end{array}\right]$$
  是4维空间内的一个平面。
• 关于矩阵秩的讨论
  $m\times n$矩阵秩为$r$。
  $r\le m,r\le n$
  满秩情况分为两种:
  （1）列满秩（$r=n$）：意味着每一列都有主元，也就是没有自由变量。$N(A)$中只有零向量。
  $x=x_p$(Unique solution if it exist)
  $Ax=b$如果存在解则为有唯一解。
  （2）行满秩（$r=m$）：每一行都有主元。
  $Ax=b$一定有解，因为无解只出现在消元后方程组左侧为0，右侧不为0的情况。行满秩意味着消元后左侧没有零行。
  将会有$n-r$个自由变量。
  （3）总结
  • $r=m=n$：有且仅有唯一解，方阵可逆。
    A消元后的矩阵为$\left[\begin{array}{c}I\end{array}\right]$。
  • $r=n<m$：有唯一解或无解。
    A消元后的矩阵为$\left[\begin{array}{c}I\\ --\\ 0\end{array}\right]$。
  • $r=m<n$：一定有无穷多解，且解的形式为一个特解+零空间内任意向量。
    A消元后的矩阵为$\left[\begin{array}{ccc}I& |& F\end{array}\right]$。
  • $r<m,r<n$：可能无解，也可能有无穷多解。
    A消元后的矩阵为$\left[\begin{array}{ccc}I& |& F\\ --& --& --\\ 0& |& 0\end{array}\right]$。