线性代数学习笔记1

本人机器学习小白一枚，目前认识到数学对于理解算法和应用算法到特定的数据集上太重要了。很喜欢MIT的线性代数课程，以MIT课程的内容为主，做一些学习总结。旨在于总结自己学过的知识、受到的启发、加强自己的逻辑性和对内容的理解。非常感谢网络上大牛们的MIT线性代数导论笔记，文末是链接。

1、线性方程
包含未知数$x_{1},x_{2},...,x_{n}$的一个线性方程是形如$a_{1}x_{1}+a_{2}x_{2}+...+a_{n}x_{n}=b$的方程，其中$b$与系数$a_{1},a_{2},...,a_{n}$是实数或复数，通常是已知数。下标$n$是任意正整数，实际问题中通常是几百，几千或更大。
注：$4x_{1}-5x_{2}=x_{1}x_{2}$和$x_{2}=2\sqrt{x_{1}}-6$都不是线性方程，因为包含$x_{1}x_{2}$和$\sqrt{x_{1}}$。
2、线性方程组
线性方程组是由一个或几个包含相同变量$x_{1},x_{2},...,x_{n}$的线性方程组成的。方程组所有可能的解的集合称为线性方程组的解集。两个线性方程组是等价的，当它们有相同的解集。
3、线性代数的基本问题就是解n个线性方程，n个未知数的方程组。
例如：包含两个未知数的两个方程组成的方程组

$2x-y=0$
$-x+2y=3$
求包含两个未知数的两个方程组成的方程组的解，等价于求两条直线的交点。当然两条直线不一定交于一个点，它们可能平行，也可能重合，重合的两条直线上的每个点都是交点。
线性方程组的解有三种情况： 无解、有唯一解、有无穷多解。
分别对应下图

线性方程组的几何图像有两种，分别是行图像和列图像。上面的图像是行图像，而需要重点理解的是列图像。下面仔细解释下两种图像。
首先，将上述方程组写成矩阵形式，即把每一个变量的系数写在对齐的一列中，就是

其中 A= 被称为系数矩阵（coefficient matrix）。未知数向量通常记为 x= ，而等号右侧的向量记为 b。线性方程组简记为 Ax= b， A和 b通常是已知数。
行图像：一次取线性方程组的一行，也就是一个方程组，作图于xy平面。

列图像：在列图像中，我们将系数矩阵 A写成列向量的形式，寻找列向量的线性组合（linear combination）系数x，y来构成向量 b。

向量线性组合是贯穿本课程的重要概念。对于给定的向量 c 和 d 以及系数 $x$和$y$，我们将 $x$c+$y$ d称之为 c 和 d 的一个线性组合。
从几何上讲，我们是寻找x 和y，使得两者分别数乘对应的列向量之后相加得到向量 。其几何图像如下图。

想象一下如果任意取x,y，则得到的线性组合又是什么？其结果就是以上两个列向量的所有线性组合将会布满整个坐标平面。

下面扩展到包含三个未知数的三个方程组成的方程组。

每一个方程都是三维空间内的一个平面，方程组的解为三个平面的交点。从行图像的角度来看，三元方程组是否有解意味着什么？当方程所代表的三个平面相交于一点时方程有唯一解；三个平面中至少两个平行则方程无解；平面的两两交线互相平行方程也无解；三个平面交于一条直线则方程有无穷多解。


如果改变等号右侧的b 的数值，那么对于行图像而言三个平面都改变了，而对于列图像而言，三个向量并没有发生变化，只是需要寻找一个新的组合。
那么问题来了，是否对于所有的b，方程Ax=b 都有解？
从列图像上看，问题转化为“列向量的线性组合是否覆盖整个三维空间？”
反例：若三个向量在同一平面内——比如“列3”恰好等于“1”加“列2”，而若b 不在该平面内，则三个列向量无论怎么组合也得不到平面外的向量b。此时矩阵A 为奇异阵或称不可逆矩阵，因为A的列向量是线性相关的。在矩阵A 不可逆条件下，不是所有的b 都能令方程Ax=b 有解。（线性相关性，可逆矩阵，奇异矩阵之后的章节会介绍）
对n 维情形则是，n 个列向量如果相互独立——“线性无关”，则方程组有解。否则这n 个列向量起不到n 个的作用（即A的列向量是线性相关的），其线性组合无法充满n 维空间，方程组未必有解。
4、矩阵与向量的乘法