第十三讲 第一阶段总结
前12讲主要是介绍了矩阵的基础知识、Ax=0和Ax=b、四个空间(A的零空间、列空间、行空间和左零空间)。本讲主要是介绍了一些基本题目和简要定理。
第一题. 令u、v、w是R^7空间内的非零向量:则u、v、w生成的向量空间可能是1,2,3维的。
第二题. 秩(rank)的问题
第三题. 求矩阵A
1)求A的行向量的生成空间的维数。
由已知可得A 是3×3 的矩阵,A 的零空间的维数是2,可从通解中看到,所以行空间的维数是3-2=1
2)矩阵A 是怎样的?
由x 为(2 0 0)可得,A 的第一个列向量的两倍是(2 4 2),得A 的第一列为(1 2 1),然后,一个矩阵的零空
间包含(0 0 1),这说明矩阵的最后一列均为0,最后由零空间向量(1 1 0)可得A 第二列为(-1 -2 -1)。
3)向量b 满足什么条件时,Ax=b 有解
很明显向量b 在列空间时有解,所以实际上是在求列空间。
第四题
1)有一方阵的零空间中只有零向量,则其左零空间也只有零向量。(由行空间的维数和列空间的维数相等可推出)
2)由5×5矩阵组成的矩阵空间,其中的可逆矩阵能否构成子空间?两个可逆矩阵相加的结果并不一定可逆,况且零矩阵本身并不包含在可逆矩阵中。其中的奇异矩阵(singular matrix,非可逆矩阵)也不能组成子空间,因为其相加的结果并不一定能够保持不可逆。
第五题
1)在不解出B的情况下,求B的零空间。
2)求解Bx=[1 0 1]^T的通解,只要得到特解和零空间就可得到通解=x_p+x_n。
因为B 的第一列和[1 0 1]^T是一样的,所以可以得到一个特解[1 0 0 0]^T,加上1)得到的零空间即可:
第六题
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
第十四讲 正交向量与子空间与Ax=b
1.正交向量
在n 维空间中,向量之间的夹角是90 度,
1) 判断两个向量X,Y 是否正交,求乘积(X^T)Y 是否等于0,即如果(X^T)Y=0,则X,Y 正交。
2) 零向量与任何向量都正交。
2.正交子空间
2.1定义
2.2正交补
3.Ax=b无解时的求解方法
2)对于(A^T)A,它不一定是可逆的,(A^T)A的秩等于A的秩,因此(A^T)A 的零空间等于A 的零空间。(下一讲会进行证明)。
N((A^T)A)=N(A)
Rank((A^T)A)=Rank(A)
因此可得,当且仅当A的零空间里面只有零向量(A的各列线性无关)时,(A^T)A 可逆。
4.总结
第十五讲 子空间的投影和Ax=b
引子:
上一讲中Ax=b无解的时候说起,当其无解的时候,我们求的解是什么?
我们想要的"最优解",即这个节对于原方程偏差最小,我们知道Ax=b有解时b在A的列空间中;当无解时,我们取b在A的列空间的b',Ax=b'理论上是"最优解"。
1.投影矩阵
1.1 二维欧式空间的投影
如图向量b到向量a的最短距离是b在a上的投影是p,a垂直于e,e就像误差e=b-p,e与p互相垂直,p是a的某个倍数x,p=xa,它在a的一维子空间里,可得到一个方程,求解x,方程为:(a^T)(b-xa) = 0。
其中(a^T)a是一个常数,a(a^T)是一个矩阵。假设b变成原来的2倍,那么投影p也变成原来的2倍;如果a变为原来的2 倍,p则不变。
假设把上式写成:p=Pb,则P称为投影矩阵,可以说投影矩阵作用与某个向量后,得到其投影向量,。
投影矩阵P的性质:
1)rank(P)=1,因为P中a(a^T)是一个矩阵,而a秩为1;
2)向量a是列空间的基,因为投影矩阵乘以任何向量b后仍旧在其列空间,因此投影矩阵的列空间C(P)是通过a的一条线;
3)P是对称的(P^T)=P;
4)对投影好的vectorp再次投影结果不变,所以P^2=P。
1.2高维空间
1)正如引子所写,为什么要做投影?
因为Ax=b也许会无解,可能等式太多,造成无解,那么只能求解最接近的那个可能问题。Ax总在A的列空间里,那么如果将b微调,将b变为列空间中最接近它自己的那一个,将问题换做求解Ax'=p (x'不是原来那个不存在的x,而是那个最接近解的x',即最优解),p 是b在列空间上的投影(列空间内最合适的右侧向量)。这就是要找最好的那个投影的原因。
2)在三维空间中,将向量b投影在平面上A。同样的,p是向量b在平面A上的投影,e是垂直于平面A的向量,即b在平面A法方向的分量。设平面A的一组基为a_1,a_2,则投影向量p=(a_1)(x'_1)+(a_2)(x'_2),我们更倾向于写作p=Ax',这里如果我们求出x',则该解就是无解方程组最近似的解。
它与直线上的投影方程很相似,对于直线来说,矩阵A只有一列,就是一个小写的a,本质都是(A^T)e = 0 。所以,e在(A^T)的零空间中,从前面几讲我们知道,左零空间与列空间垂直,则e与A的列空间垂直,与我们设想的一致。
3)那么x'是什么?投影p 是什么?投影矩阵P 是什么?(与一维情况下得到的公式相比较)
2. 最小二乘法
如图,要找到一条最优的直线来拟合这些点,误差最小。我们要确定C 和D的大小,来得到b=C+Dt 方程。
根据条件可以得到方程组 ,写作矩阵形式 ,也就是我们的,很明显方程组无解。
但是有解,于是我们将原是两边同时乘以后得到的新方程组是有解的,也是最小二乘法的核心方程。
3.总结
1.投影矩阵及其应用;
2.解决Ax=b无解时,最优解的问题;
3.最小二乘法。