线性代数Part1

01 行图像和列图像

线性方程的几何图像

线性代数的基本问题就是解n元一次方程组。

写成矩阵形式是

其中

被称为系数矩阵。
未知数向量通量记为

而等号右侧的向量记为b。
线性方程组简记为

行图像

每个方程在平面上的图像为一条直线。找到符合方程的两个数组，就可以确定出x-y平面上的两个点，连接两点可以画出该方程所代表的直线。两直线交点就是方程组的解。

列图像

将系数矩阵写成列向量的形式，求写方程组变为寻找列向量的线性组合来构建b。

寻找满足条件的x和y，使得两者乘以对应的列向量之后相加得到向量

02 矩阵消元

消元法

高斯消元法就是通过对方程组中的某两个方程进行适当的数乘和加法，以达到将某一未知数系数变为0，从而消减未知数的系数。

回代

做方程高斯消元时，需要对等式右侧b做同样的乘法和加减法。“增广矩阵”，将b插入矩阵A之后形成最后一列，消元过程当中带着b一起操作。

消元矩阵

矩阵运算的核心内容是对“行”或者“列”进行独立操作。
通过左乘矩阵E21来实现原矩阵A的第二行减去第一行3倍的过程。

3*3矩阵的消元可以分三步完成，
也可以记作

置换矩阵

左乘置换矩阵可以完成原矩阵的行变换，右乘置换矩阵则为列变换。

逆矩阵

消元矩阵的逆矩阵实施的效果可以抵消原矩阵的消元操作。

满足

03 矩阵的乘法和逆矩阵

矩阵乘法

矩阵A与B相乘得到矩阵C.其中A为mn(m行n列)矩阵，而B为np矩阵，则C为m*p矩阵，
记cij为矩阵C中的i行第j列的元素。

逆矩阵

如果矩阵A是方阵，若存在逆矩阵A-1，使得

我们称A可逆或者矩阵A非奇异。
反之，如果A奇异，则其没有逆矩阵。

高斯-若尔消元法

04 矩阵的LU分解

找到矩阵L，使得矩阵A转变为上三角矩阵U。得到A=LU。

矩阵乘积的逆矩阵

矩阵乘积的转置

转置矩阵的逆矩阵

矩阵的LU分解

05 置换、转置和空间

向量空间

对向量进行“线性运算”，即通过加和（v+w）与数乘运算（3v）得到向量的线性组合。向量空间对线性运算封闭，即空间内向量进行线性运算得到的向量仍在空间之内。

子空间

包含于向量空间之内的一个向量空间成为原向量空间的子空间。

列空间

给定矩阵A，A的列向量和它们的线性组合张成的空间。

06 列空间和零空间

子空间综述

“线性空间”是对于线性运算封闭的向量集合。对于空间中任意向量v和w，其和v+w和数乘cv必属于该空间。
“子空间”为包含于向量空间内的一个向量空间。它是原向量空间的一个子集，而且本身也满足向量空间的要求。但是“子空间”和“子集”的概念有区别，所有元素都在原空间之内就可称为子集，但是要满足对线性运算的封闭的子集才能称为子空间。

列空间

矩阵A的列空间C(A)是其列向量的所有线性组合所构成的空间。
求解Ax=b，对于给定A的
只有b在C(A)之内，方程组才有解。

零空间

矩阵A的零空间N(A)是指满足Ax=0的所有解的集合。

07 求解Ax=0 主变量 特解

计算零空间

矩阵A的零空间即满足Ax=0的所有x构成的向量空间

对矩阵A进行“行操作”并不会改变Ax=b的解，因此也不会改变零空间。

第一列、第三列为主元列，第二列、第四列为自由列。
矩阵的秩就是矩阵的主元的个数。矩阵中包含主元的列为主元列，不包含主元的列为自由列。

特解

对自由变量x2和x4进行赋值，令x2=1，x4=0.则有
可得一解

其任意倍数均在矩阵的零空间之内。
取自由变量x2=0、x4=1,则可得到另一解

08 求解Ax=b：可解性与结构

可解的条件

当b处于矩阵的列空间C(A)之中时，方程才有解。

通解

求Ax=b的所有解，首先检验方程是否可解，然后找到一个特解。将特解和矩阵零空间的向量相加即为方程的通解。

特解

求Ax=b特解的方法是将自由变量均赋值为0，求解其主变量。
令x2=x4=0. 可解得 x3=3/2 x1=-2
因此特解为

与零空间进行线性组合

Ax=b的通解为Xcomplete=Xp+Xn，其中Xn为矩阵零空间中的一般向量。将AXp=b和AXn=0相加可得A(Xp+Xn)=b。
之前矩阵的零空间N(A)就是其特解为

的线性组合的集合。
以此方程Ax=b的通解为：

其中c1和c2为任意的实数。

09 线性无关，基和维数

线性无关

矩阵A为m*n的矩阵，其中m<n（因此Ax=b中未知数的个数多于方程数）。则A中具有至少一个自由变量，那么Ax=0一定具有非零解。A的列向量可以线性组合得到零向量，所以A的列向量是线性相关的。
若c1x1+c2x2+…+cnxn=0仅在c1=c2=…=cn=0时才成立，则称x1,x2…xn是线性无关的。若这些向量作为列向量构成矩阵A,则方程Ax=0只有零解x=0，或称矩阵A的零空间只有零向量。换而言之，若存在非零向量c，使得Ac=0，则这个矩阵的列向量线性相关。
如果矩阵A的列向量为线性无关，则A所有的列均为主元列，没有自由列，矩阵的秩为n。若A的列向量为线性相关，则矩阵的秩小于n，并且存在自由列。

张成空间

当一个空间是由向量v1，v2…vk的所有线性组合组成时，我们称这些向量张成这个空间。例如矩阵的列向量张成了该矩阵的列空间。
如果向量v1，v2…vk张成空间S，则S是包含这些向量的最小空间。

基与维数

向量空间的基是具有如下两个性质的一组向量v1，v2…vd
v1,v2…vd 线性无关
v1,v2…vd 张成该向量空间

R3空间有一组基

因为

只有零解。

子空间的基

向量

可以张成R3中的一个平面，但是它们无法称为R3空间的一组基。
空间的每一组基都具有相同的向量数，这个数值就是空间的维数。所以Rn空间的每组基都包含n个向量。

列空间和零空间的基

矩阵A的四个列向量张成了矩阵A的列空间，其中第3列和第4列与前两列线性相关，而前两列线性无关。因此前两列为主元列。它们组成的列空间C(A)的一组基。矩阵的秩为2
对于任何矩阵A均有
矩阵的秩r=矩阵主元列的数目=列空间的维数

矩阵具有秩rank而不是维数dimension，而空间有维数而不是秩
当知道了列空间的维数，可以从矩阵列空间中随意选取足够数量的线性无关的向量，它们每一组都可以构成列空间的一组基。
本例中矩阵的列向量不是线性无关的，因此其零空间N(A)不止包含零向量。

就是Ax=0的两个特解
零空间的维数=自由列的数目=n-r

10 四个基本子空间

列空间 Column space C(A)

矩阵A的列空间是A的列向量的线性组合在Rm空间中构成的子空间

零空间 Null space N(A)

矩阵A的零空间是Ax=0的所有解x在Rn空间构成的子空间

行空间 Row space C(AT)

矩阵A的行空间是A的行向量的线性组合在Rn空间中构成的子空间，也就是矩阵AT的列空间。

左零空间 Left nullspace N(AT)

我们称矩阵AT的零空间为矩阵A的左零空间，它是Rm空间中的子空间。

子空间的正交关系

对于零空间中的每一个向量：
Ax=0
根据矩阵乘法x与A的每一个向量的点积都是0，因此零空间中的每一个向量都与A的行空间中的所有向量正交。