【线性代数及其应用】01- 线性方程组

线性方程组

1. 线性方程组的几何含义

  线性方程组就是
$$a11\ast x1+a12\ast x2+a13\ast x3=b1$$

$$a21\ast x1+a22\ast x2+a23\ast x3=b2$$

$$a31\ast x1+a32\ast x2+a33\ast x3=b3$$

  等价于

$$AX=B$$
  对线性方程组的理解包括横向和总纵向两种理解方法，也就是column picture和row picture

1.1 column picutre

   column picture是将线性方程组从竖直的角度来看，因为纵向来看，竖直的一组参数构成一组向量
$$v1=\left\{\begin{array}{c}a11\\ a21\\ a31\end{array}\right\}$$

$$v2=\left\{\begin{array}{c}a21\\ a22\\ a23\end{array}\right\}$$

$$v3=\left\{\begin{array}{c}a31\\ a32\\ a33\end{array}\right\}$$

  AX=B就可以理解为x是线性组合的权值，通过对v1，v2，v3的重新组合，得到了向量b
$$c1\ast v1+c2\ast v2+c3\ast v3=b$$

{ v 1 v 2 v 3 } ∗ { c 1 c 2 c 3 } = b \{\begin{matrix}v1&v2&v3 \end{matrix}\}*\left\{ \begin{matrix} c1\\ c2\\ c3 \end{matrix}\right\}=b {v1​v2​v3​}∗⎩⎨⎧​c1c2c3​⎭⎬⎫​=b

1.2 row picture

  除了从竖向解释线性方程组以外，还可以横向理解，其几何意义就是row picture。

  因为每一个线性方程组其实都可以理解为是一条空间的直线，三个线性方程组横向理解，就是3条直线的交点坐标。

2. 线性方程组与向量方程和矩阵方程的关系

  其实从对线性方程组意义的解读中，我们已经出现了线性方程组、向量方程和矩阵方程的关系。
  线性方程组是矩阵最原始的意义，因为线性最初的含义就是用于解线性方程组
$$a11\ast x1+a12\ast x2+a13\ast x3=b1$$

$$a21\ast x1+a22\ast x2+a23\ast x3=b2$$

$$a31\ast x1+a32\ast x2+a33\ast x3=b3$$
  而向量方程是从column picture的角度来思考线性方程的意义，就是对列向量的重新组合
$$\left\{\begin{array}{c}a11\\ a21\\ a31\end{array}\right\}\ast x1+\left\{\begin{array}{c}a21\\ a22\\ a23\end{array}\right\}\ast x2+\left\{\begin{array}{c}a31\\ a32\\ a33\end{array}\right\}\ast x3=\left\{\begin{array}{c}b1\\ b2\\ b3\end{array}\right\}$$
  而矩阵方程是对向量方程的进一步简化，是利用矩阵的乘法来描述这一重新线性组合关系
{ v 1 v 2 v 3 } ∗ { x 1 x 2 x 3 } = B \{\begin{matrix}v1&v2&v3 \end{matrix}\}*\left\{ \begin{matrix} x1\\ x2\\ x3 \end{matrix}\right\}=B {v1​v2​v3​}∗⎩⎨⎧​x1x2x3​⎭⎬⎫​=B
$$即AX=B$$

3. 线性方程组解的存在性与唯一性

  谈到线性方程组，就一定会讨论其是否有解以及有多少个解的问题，也就是解的存在性与唯一性问题。

3.1 阶梯式

  这里首先引入矩阵的阶梯式和最简阶梯式的概念，所谓阶梯式，就是矩阵从上往下，我们每一行第一个非零的数字叫做这一行的主元，上面一行的主元下面对应的位置必须全部是0，而且非零行必须在零行之上,比如
$$\left\{\begin{array}{ccc}1& 2& 3\\ 0& 2& 3\\ 0& 0& 3\\ 0& 0& 0\end{array}\right\}$$
  第一行的1，第二行的2和第三行的3叫做主元;

  主元1的下面全部是0，主元2的下面也是0

   零行在非零行的下面

3.2 最简阶梯式

  最简阶梯式是在阶梯式的基础上，每个主元行的上面元素必须也是0
$$\left\{\begin{array}{ccc}1& 0& 0\\ 0& 2& 0\\ 0& 0& 3\\ 0& 0& 0\end{array}\right\}$$
  具有这种形式的矩阵叫做最简阶梯式

3.3 增广矩阵

  把原方程式的系数放在矩阵左边，结果列放在系数列的右边，构成一个多了一列的矩阵就是增广矩阵,比如
$$a11\ast x1+a12\ast x2+a13\ast x3=b1$$

$$a21\ast x1+a22\ast x2+a23\ast x3=b2$$

$$a31\ast x1+a32\ast x2+a33\ast x3=b3$$

  系数矩阵
$$\left\{\begin{array}{ccc}a11& a12& a13\\ a21& a22& a23\\ a31& a32& a33\end{array}\right\}$$
  增广矩阵
$$\left\{\begin{array}{cccc}a11& a12& a13& b1\\ a21& a22& a23& b2\\ a31& a32& a33& b3\end{array}\right\}$$

3.4 解的存在性

  我们可以看出，增广矩阵的含义其实就是左边的系数*变量=结果，如果我们把增广矩阵化成阶梯式
$$\left\{\begin{array}{cccc}a11^{\prime }& a12^{\prime }& a13^{\prime }& b{1}^{\prime }\\ 0& a22& a23& b{2}^{\prime }\\ 0& 0& a33& b3\end{array}\right\}$$

  就可以得到方程
$$a11^{\prime }\ast x1+a12^{\prime }\ast x2+a13^{\prime }\ast x3=b{1}^{\prime }$$

$$a22^{\prime }\ast x2+a23^{\prime }\ast x3=b{2}^{\prime }$$

$$a33^{\prime }\ast x3=b{3}^{\prime }$$
  只有增广矩阵的阶梯形式不存在左边系数列是0，右边结果列非0的情况，这个线性方程组就有解,比如无解情况得到的矩阵
$$\left\{\begin{array}{cccc}a11^{\prime }& a12^{\prime }& a13^{\prime }& b{1}^{\prime }\\ 0& a22^{\prime }& a23^{\prime }& b{2}^{\prime }\\ 0& 0& 0& b3\end{array}\right\}$$

  最后一行得到方程 0 = b3’,如果b3’不是0，方程当然无解

3.5 解的唯一性

  如果化简为阶梯式的时候，得到了全零行，那么最后一行0=0必定恒成立，也就是说某个参数是没有约束条件的，等于几都可以，这样的变量叫做自由变量，有自由变量的方程组必定有无穷解。
$$\left\{\begin{array}{cccc}a11^{\prime }& a12^{\prime }& a13^{\prime }& b{1}^{\prime }\\ 0& a22^{\prime }& a{2}^{\prime }3& b{2}^{\prime }\\ 0& 0& 0& 0\end{array}\right\}$$

  可以写成方程组
$$a11^{\prime }\ast x1+a12^{\prime }\ast x2+a13^{\prime }\ast x3=b{1}^{\prime }$$

$$a22^{\prime }\ast x2+a23^{\prime }\ast x3=b{2}^{\prime }$$

$$x3=x3$$

4. 线性方程组的求解方法

4.1 简化阶梯式法

  简化阶梯式法语上面解的存在与唯一性的时候写的基本一致，就是把矩阵化成最简阶梯式，然后就可以得到结果。
$$\left\{\begin{array}{cccc}a11^{\prime }& 0& 0& b{1}^{\prime }\\ 0& a22^{\prime }& 0& b{2}^{\prime }\\ 0& 0& a33^{\prime }& b{3}^{\prime }\end{array}\right\}$$

  可得
$$a11^{\prime }\ast x1=b{1}^{\prime }$$

$$a22^{\prime }\ast x2=b{2}^{\prime }$$

$$a33^{\prime }\ast x3=b{3}^{\prime }$$

4.2 逆矩阵法

  如果矩阵A是可逆的，那么可以利用逆矩阵法求解，不过计算量很大
$$AX=B$$

$$X=A^{-1}\ast B$$

4.3 最小二乘法

  如果说A中列数多于行数，也就是说，方程数多于变量数，这种情况下，方程多半是无解的，但是可以利用投影的思想使用最小二乘法进行求解。把向量B投影到A的列空间上去，就能得到误差量最小的最小二乘解。

  
$$A^T\ast (b-A\ast x)=0$$
  A*x是利用A中的向量重新组合得到了b的投影向量，(b-A)*x是正交与列空间A的向量，利用投影向量的垂直分量正交与列空间的性质，可以得到最小二乘法方程，解得
$$x=(A^T\ast A{)}^{-1}\ast A^T\ast b$$

4.3 LU分解法

  因为从原始矩阵变换为最简阶梯形经过了很多次行变换，行变换可以用一个矩阵来描述，最终得到的最简阶梯形是一个下三角矩阵，记为U，而多次行变换的乘积是一个上三角矩阵，记为L，即A=LU，原式可以表示为
$$L\ast U\ast X=b$$
  令y=UX
$$L\ast y=b$$
  因为L是下三角矩阵，解方程必然很快，得到y以后，再算Ux=y，U是上三角矩阵，计算也很快，用这种先拆分再解方程的LU分解法比最简阶梯形计算量更小一些

4.4 克拉默法则

  克拉默法则是一种利用行列式解方程的方法，求解行列式十分复杂，这里不想介绍，实用性不强。