Linear Algebra相关知识总结（1）

Linear Algebra相关知识总结

本分类下的文章是基于麻省理工公开课：线性代数，对课程中的每一个章节做相应的总结。课程一共有35个课时，这里会以5个课时为单位进行总结。该分类总共会写8节，包括7节的章节总结和一节的总概括。

This chapter is summary of video —— MT Open Class : Linear Algebra, which has 35 lessons.I summarize every 5 lessons. There are 8 chapters contains 7 single summary and one completely summary.

一：方程的几何解释

在开始之前，先贴一下本章的核心：
The fundamental problem of linear algebra, which is solve a linear equations.(线性代数的核心是解线性方程）

本节的总结是默认N元方程组有N个方程来看待的。实际的话该条件是不成立的，这里一次为前提是为了便于讲解不同视图下方程的几何意义。

后文的所有总结都是以如下的方程为例的：

$$\begin{cases} 2x + y = 0 \\ -x + 2y = 0\end{cases}$$

1.1：矩阵视图

$$\begin{bmatrix}2 & 1 \\ -1 & 2\end{bmatrix} \begin{bmatrix}x \\ y\end{bmatrix} = \begin{bmatrix}0 \\ 3\end{bmatrix}$$

根据矩阵的乘法，我们可以通过将上边的公式进行计算，得出前边给的实例方程组。这个就是方程组的矩阵表示形式。我们还可以根据这个推断出N元线性方程的矩阵表示像是如下。这样我们在后续遇到的线性方程组都可以将其转换为矩阵，然后从矩阵的角度去思考问题。这也是线性方程组的一个核心点。

这里我们将从左到右的三个矩阵依次称为系数矩阵——A；位置变量——x；期望值——b。那么我们就会得到我们在后续总结中常见的一个公式Ax=b

1.2: 列视图

$$x\begin{bmatrix} 2 \\-1 \end{bmatrix} + y\begin{bmatrix}1 \\ 2 \end{bmatrix} = \begin{bmatrix}0 \\ 3 \end{bmatrix}$$

这个是将方程组的系数以列为单位进行抽离，将列抽象为一个向量。我们将从左到右的三个分别称为向量A、B、C。那么具体的含义就是我们如何将向量A与向量B进行指定的结合生成向量C。

我们可以将向量A、B在直角坐标系中绘制出来，然后绘制出向量C。那么我们就可以在途中大概找到x、y的值。

从该视图看解N元方程的含义就是：在N维坐标系中怎么计算N个N维向量然后得到指定的向量。

1.3：行视图。

行视图最简单，就是将每个方程代表的图形在相应的坐标系中绘制出来即可。本例给的是一个二元方程组，那么视图就是将方程代表的直线在直角坐标系绘制出来。
从该视图看解N元方程组的含义：找到在N维坐标系中，每个方程代表的图形相交的部分。

1.4：总结
从不同的角度讲解了一个方程的含义，从几何的角度讲解求解一个方程组的几何本质以及几何的表示。而这个将会在后续的讲解中起到很重要的作用。是线性代数的基础。

二：矩阵消元

消元法（Elimination）是我们解N元一次方程组最好的方法。 这里主要讲解通过矩阵的形式实现消元法，而这个操作的核心就是矩阵变换（Matrix Operations）。

本节将以如下方程组以及其矩阵形式作为本次总结的事例：
原方程及其矩阵形式如下:

$$\begin{cases} x + 2y + z = 2 \\ 3x + 8y + z = 12 \\ 4y - z = 2\end{cases} \\ \begin{bmatrix}1 & 2 & 1 \\ 3 & 8 & 1 \\ 0 & 4 & -1\end{bmatrix} \begin{bmatrix}x \\ y \\ z\end{bmatrix} = \begin{bmatrix}2 \\ 12 \\ 2 \end{bmatrix} \ <=> Ax = b$$

矩阵与向量的乘积是“矩阵列的线性组合”

2.1：主元与消元
在了解消元法之前首先要掌握一个概念——主元（Pivot Element）：

百度的解释是主元,说的通俗一点就是，位于矩阵对角线上的都是主元，主元是在消元过程中起主导作用的元素。消元之后，矩阵中位于主元以下的值都为0，主元的值为都不为0，如下所示（对角线上的值都不为0，注意这里的对角线上的值是指该值在矩阵中的位置行和列坐标相同，而非集合意义中的对角线，主要针对矩阵的行列数不一致的矩阵）:

$$\begin{bmatrix} {X_1}_1 & {X_1}_2 & ... & {X_1}_n \\ 0 & {X_2}_2 & ... & {X_2}_n \\ .. &... & ... & ... \\ 0 & 0 & ... & {X_m}_n \end{bmatrix}$$

例如：A经过消元后的结果如下：

$$\begin{bmatrix}1 & 2 & 1 \\ 0 & 2 & -2 \\ 0 & 0 & 5 \end{bmatrix}$$
上边矩阵中1就被称为 主元。

我们将上边的两个矩阵称为上三角矩阵（Upper Triangle）——称为矩阵U。那么矩阵的消元就可以看作通过原矩阵——A，获取到指定矩阵U的过程。而通过这个形式可以很容易的计算行列式——等于各主元的乘积。

2.2：行变换

矩阵的行变换包括：交换矩阵中的任意两行；矩阵的第i行的n倍与第j行的m倍相加作为第j行新的数据。

通过矩阵的形式描述行变换。
首先我们分析我们对矩阵A消元的话，需要执行的步骤有：row 2 = row1 * 3 - row2; row3 = row2*2 - row3。那么根据矩阵的乘法，我们可以将将其转换为如下的矩阵：

⎡⎣⎢030