线性代数总结

最新推荐文章于 2025-02-19 23:59:18 发布

OathKeeper-hxl

最新推荐文章于 2025-02-19 23:59:18 发布

阅读量1.4w

点赞数 13

分类专栏： Mathematic 文章标签：线性代数麻省理工

本文链接：https://blog.csdn.net/u013803076/article/details/78673546

版权

本文是对麻省理工学院18.06线性代数课程的总结，涵盖线性方程组的几何意义、矩阵消元法、矩阵乘法、逆矩阵、LU分解、向量空间、列空间和零空间等核心概念。通过理解和应用这些概念，可以解决线性方程组、求解矩阵的逆、理解矩阵的分解方法以及探索线性空间的特性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Overview

本文是对 MIT 18.06 的总结。下面3幅图来自 MIT Course 18.06 的 course overview slides.

What is 18.06 about?

Fall 2017 Lecture Summaries

The Geometry of Linear Equations

教授在这个 lecture 中介绍了3个概念：Row Picture，Column Picture, and Matrix Picture，其中理解 Column Picture 是最重要的。

我们可以把线性方程组写成矩阵的形式，Row Picture 描述的是从矩阵的 row 看起，对于每一个 row 来说，在 2D 中可以决定一条直线，在 3D 中决定一个平面; 而对于 Column Picture 来说，从 column 看起，形成了列向量的 linear combination，因此在 2D 和 3D 中都是向量，只不过2者之间相差一个维度而已; Matrix Picture 没什么好说的。详情可以看 The Geometry of Linear Equations.

Given a matrix $A$ , can we solve: $Ax=b$ for every possible vector $b$ ? In other words, do the linear combinations of the column vectors fill the xy-plane (or space, in the three dimensional case)?

If the answer is “no”, we say that $A$ is a singular matrix. In this singular case its column vectors are linearly dependent; all linear combinations of those vectors lie on a point or line in two dimensions(plane in three dimensions). The combinations don’t fill the whole space.

从几何上理解会更直观一些。比如在空间中有3个向量（A，B，C），如果 A 和 B 通过 linear combination 会得到 C，因此 C 在向量 A 与 B 组成的平面上，因此这3个向量的 linear combinations 不能 fill 整个3维空间。在进一步，如果这3个向量共线，那么它们就只能 fill 一条直线。

Elimination with Matrices

在文章开头，已经看到了线性方程组可以写成矩阵的形式。下图中就是把一个3元方程组写成矩阵的形式（Ax=b）：

Elimination with Matrices

在高中的时候，如果想要求解出这样的方程组，需要不断地化简消元，只不过我们现在用更加系统的方法去做这件事情，道理本身是一样的。这里直接操纵矩阵，从而达到消元的目的。过程如下图所示：

Elimination with Matrices

由于对方程的左边（即矩阵 A）进行了上述步骤的简化，同样的步骤也需要应用到向量 b 上。应用到 b 以后，我们得到了一个新的向量 $c=\begin{bmatrix} 2 \\ 6 \\ -10 \end{bmatrix}$ ，因此整个消元方法转换 Ax=b 到 Ux=c，通过 back substitution 就可以得到这个3元方程组的解了。

在上面的消元过程中，pivots may not be 0. If there is a zero in the pivot position, we must exchange that row with one below to get a non-zero value in the pivot position. If there is a zero in the pivot position and no non-zero value below it, then the matrix A is not invertible.

熟悉了上面的消元过程，现在让我们了解一下 Elimination Matrices 的概念。在上面消元的第一步中，我们是把矩阵 A 的 row 2 - 3×row 1，通过下图中的方式也可以达到同样的效果：

Elimination Matrices

上图中最左面的矩阵就是消元矩阵。The elimination matrix used to eliminate the entry in row $m$ column $n$ is denoted $E_{mn}$ . The calculation above took us from A to $E_{21}A$ . The three elimination steps leading to U were: $E_{32}(E_{31}(E_{21}A))=U$ . 这里你会发现一个关于 elimination matrix 的规律，构成一个 elimination matrix，首先写一个单位矩阵，然后如果你想消哪个位置的元素，然后改变这个单位矩阵相对应的位置的值，使其达到消元的目的。你可以动手试一试。

A permutation matrix exchanges two rows of a matrix. 对于一个 n×n 的矩阵来说，可以有 n! 种方式交换行，因此就有 n! 个permutation matrix，这些矩阵形成了一个组. 单位矩阵就是一个 permutation matrix 的例子，只不过它不交换任何行而已。关于 permutation matrix 的规律，就是你怎样交换单位矩阵的行，你就如何交换另一个应用到它的矩阵的行。比如对于下图中的 permutation matrix 来说，它交换了单位矩阵的行1和行2，如果你把这个 permutation matrix 应用到另一个矩阵上，那么它就会交换那个矩阵的第1行和第2行。

permutation matrix

既然我们有 n! 种方式交换行，无论你怎么交换都逃不出这些可能。因此，无论你对同一个矩阵应用多少个 permutation matrix，交换之后的结果一定在 n! 种情况内。因此可以得出，当你从一组 permutation matrix 中拿出任意多个矩阵时，它们的乘积也一定在组里。

接下来我再谈一下关于 elimination matrix 的逆矩阵。比如下图中的 elimination matrix，它的目的是进行操作： row 2 - 3×row 1，为了 “undo” 这个操作，我们必须进行操作： row 2 -+3×row 1，即用 $E_{21}$ 的逆矩阵：

elimination matrix

Multiplication and Inverse Matrices

有5种 perspective 来看矩阵的乘法：它们分别是：row times column，columns，rows，column times row，blocks. 关于它们的详情参考矩阵乘法。

接下来谈一谈如何判断 square matrix A 是否可逆。设矩阵 Ax=0，如果你可以找到一个非0的 x 使其成立，则 A 不可逆。这是为什么呢？假设 $A^{-1}$ 存在，且有一个非0解 x. 由于 $A^{-1}(Ax)=A^{-1}0=0\ne x=Ix=(A^{-1}A)x$ ，违背了假设，所以矩阵 A 不可逆。

接下来谈一谈当一个矩阵可逆的时候，如何用 Gauss-Jordan Elimination 来求出它的逆矩阵。下图中就是整个过程（Once we have used Gauss’ elimination method to convert the original matrix to upper triangular form, we go on to use Jordan’s idea of eliminating entries in the upper right portion of the matrix）。

Gauss-Jordan Elimination

上面的消元过程很好理解，但是为什么上图中“问号”上面的矩阵就是 $A^{-1}$ 呢？在下图中通过把一个 elimination matrix E 应用到矩阵 A 上得到了单位矩阵 I，即 EA=I，所以 E= $A^{-1}$ ，所以 EI= $A^{-1}I=A^{-1}$

Inverse Matrices

Factorization into A = LU

正如本节标题所示，我们需要把矩阵 A 分解成2个矩阵（L 和 U）的乘积，where ‘LU’ stands for ‘lower upper’, and also called LU factorization. 在上面的小节中已经看到，通过对矩阵 A 的消元过程，最终可以得到一个 upper triangular 的矩阵 U，因此是 EA=U. 有了过程，我们就可以很容易把 A 分解成 LU 了。 $E^{-1}$ EA= $E^{-1}$ U，因此你会发现 L 实际上就是 $E^{-1}$ .

矩阵 L 是 lower triangular 的，而且对角线上全是1. 你可以看每一步的消元矩阵，它都是对角线上是1，然后改变某个位置上的乘子。你可能会想，A=LU 和 EA=U，并没有什么太大区别吗！我们为什么更倾向于前者呢？举个例子一下就明白了。比如某个矩阵 A 的 $A_21$ 和 $A_32$ 两个元素需要消元，因此有下图中的2个消元矩阵。你会发现最终得到的 E 不仅在其需要消元的2个元素上有乘子，而且在左下角不还有个10出现，这就是副作用。