线性代数mit课程笔记

1.四个空间：

零空间，列空间，行空间，左零空间。

有一个A矩阵m*n

（1）零空间是指满足Ax=0的线性组合所组成的空间，维数是n-r

  (2)列空间，是指列向量的线性组合所产生的空间，维数是r

（3）行空间同理，是行向量所组成的空间，维数也是r

（4）左零空间，该概念较特殊，是指转置A*x=0中解的向量所组成的空间，空间维数是m-r

有两种方法可以求得，第一种直接求方程的解，可以得到基且求得维数。

第二种通过高斯-诺当消元法，通过[A I]=[R E]来求得E，而在这里相当于存在一个EA=R的可能性，但这个跟左零空间有啥关系呢，为什么可以从这个里面找到解呢，这是因为转置（转置A*x）=0的话，就等于转置x*A=0，所以就相当于找到能左乘A得零的解，并求其空间，所以这里就是E的最下方m-r个向量为解。这方面较难一次性看清，可结合https://blog.csdn.net/sunbobosun56801/article/details/82845835来进行理解。

2.勾股定理的另一种表达方式

XTX+YTY=(X+Y)T(X+Y)=(XT+YT)(X+Y)=XTX+XTY+YTX+YTY

3.第十四讲开始讲解投影和最小二乘法等内容，较为重要

R(ATA）=R(A)

投影：

假设求向量b在向量a上的投影为向量pa

所以存在该等式aT（b-pa）=0

所以p=aTb/（aTa）

投影得到的向量为aaTb/(aTa)

设Pb=pa，P为投影矩阵，可得投影矩阵为aaT/aTa，该矩阵只需与所要的向量相乘即可。

在高维空间里，也是类似的过程：

AT（b-Ax）=0

x=(ATA)^-1ATb

p=Ax(A是列向量，x是线性组合)

p=A(ATA)^-1ATb

同理可得投影矩阵为A（ATA）^-1AT（在二维平面中，A为一维向量，所以才可以放在分母）

4.最小二乘

问题：求得过数据点（1,1）（2，2）（3,2）的直线，（1,1/1,2/1,2）(x/y)=(1/2/3)

即求得x与y，但该方程无解，所以需要让（1/2/3）在A上面有投影，才能是A中列向量的线性组合，所以可直接通过求x=(ATA)^-1ATb，从而求得x与y。

5.若A的列向量线性无关，则ATA为可逆矩阵（其实可以这么记，R（ATA）=R（A）

6.施密特正交化

就是求得B=b-ATb/（ATA）A