线性代数-MIT 18.06-7(b)

本文在学习《麻省理工公开课 线性代数 MIT 18.06 Linear Algebra》总结反思形成

视频链接：MITB站视频

笔记部分：总结参考子实

33.复习三

在上一次复习中，我们已经涉及了求特征值与特征向量（通过解方程$\det (A-\lambda I)=0$得出$\lambda$，再将$\lambda$带入$A-\lambda I$求其零空间得到$x$）。

复习提纲

• 解微分方程$\frac{\mathrm{d}u}{\mathrm{d}t}=Au$，并介绍了指数矩阵$e^{At}$；
• 介绍了对称矩阵的性质$A=A^T$，了解了其特征值均为实数且总是存在足量的特征向量（即使特征值重复特征向量也不会短缺，总是可以对角化）；同时对称矩阵的特征向量正交，所以对称矩阵对角化的结果可以表示为$A=Q\Lambda Q^T$；
• 正定矩阵；
• 相似矩阵，$B=M^{-1}AM$，矩阵$A,B$特征值相同，其实相似矩阵是用不同的基表示相同的东西；
• 奇异值分解$A=U\Sigma V^T$

例题详解

1. 解方程$\frac{\mathrm{d}u}{\mathrm{d}t}=Au=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& -1\\ 0& 1& 0\end{array}\right]u$。

   解法1：

   首先通过$A$的特征值/向量求通解$u(t)=c_1{e}^{{\lambda }_{1}t}{x}_1+c_2{e}^{{\lambda }_{2}t}{x}_2+c_3{e}^{{\lambda }_{3}t}{x}_3$，很明显矩阵是奇异的，所以有${\lambda }_1=0$；、

   继续观察矩阵会发现$A^T=-A$，这是一个反对称矩阵（anti-symmetric）或斜对陈矩阵（skew-symmetric），这与我们在第二十一讲介绍过的旋转矩阵类似，它的特征值应该为纯虚数（特征值在虚轴上），所以我们猜测其特征值应为$0\cdot i,b\cdot i,-b\cdot i$。通过解$\det (A-\lambda I)=0$验证一下：$\left[\begin{array}{ccc}-\lambda & -1& 0\\ 1& -\lambda & -1\\ 0& 1& \lambda \end{array}\right]={\lambda }^3+2\lambda =0,{\lambda }_2=\sqrt{2}i,{\lambda }_3=-\sqrt{2}i$。

   此时$u(t)=c_1+c_2{e}^{\sqrt{2}it}{x}_2+c_3{e}^{-\sqrt{2}it}{x}_3$，$e^{\sqrt{2}it}$始终在复平面单位圆上，所以$u(t)$及不发散也不收敛，它只是具有周期性。当$t=0$时有$u(0)=c_1+c_2+c_3$，如果使$e^{\sqrt{2}iT}=1$即$\sqrt{2}iT=2\pi i$则也能得到$u(T)=c_1+c_2+c_3$，周期$T=\pi \sqrt{2}$。

   知识点 ：当矩阵满足什么条件时，其特征向量相互正交？

   答案是必须满足$A{A}^T=A^{T}A$。

   所以对称矩阵$A=A^T$满足此条件，

   同时反对称矩阵$A=-A^T$也满足此条件，

   而正交矩阵$Q^{-1}=Q^T$同样满足此条件，这三种矩阵的特征向量都是相互正交的

   解法2：

   上面的解法并没有求特征向量，进而通过$u(t)=e^{At}u(0)$得到通解，现在我们就来使用指数矩阵来解方程。

   如果矩阵可以对角化（在本例中显然可以），则$A=S\Lambda S^{-1},e^{At}=S{e}^{\Lambda t}{S}^{-1}=S\left[\begin{array}{cccc}{e}^{{\lambda }_{1}t}& & & \\ & e^{{\lambda }_{1}t}& & \\ & & \ddots & \\ & & & e^{{\lambda }_{1}t}\end{array}\right]S^{-1}$

   点评：这个公式在能够快速计算$S,\lambda$时很方便求解。

2. 已知矩阵的特征值${\lambda }_1=0,{\lambda }_2=c,{\lambda }_3=2$，特征向量$x_1=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right],x_2=\left[\begin{array}{ccc}1& -1& 0\end{array}\right],x_3=\left[\begin{array}{c}1\\ 1\\ -2\end{array}\right]$：

   • $c$如何取值才能保证矩阵可以对角化？

     其实可对角化只需要有足够的特征向量即可，而现在特征向量已经足够，所以$c$可以取任意值。

   • $c$如何取值才能保证矩阵对称？

     我们知道，对称矩阵的特征值均为实数，且注意到给出的特征向量是正交的，有了实特征值及正交特征向量，我们就可以得到对称矩阵。

   • $c$如何取值才能使得矩阵正定？

     已经有一个零特征值了，所以矩阵不可能是正定的，但可以是半正定的，如果$c$去非负实数。

   • $c$如何取值才能使得矩阵是一个马尔科夫矩阵？

     在第二十四讲我们知道马尔科夫矩阵的性质：必有特征值等于$1$，其余特征值均小于$1$，所以$A$不可能是马尔科夫矩阵。

   • $c$取何值才能使得$P=\frac{A}{2}$是一个投影矩阵？

     我们知道投影矩阵的一个重要性质是$P^2=P$，所以有对其特征值有${\lambda }^2=\lambda$，则$c=0,2$。

   点评：题设中的正交特征向量意义重大，如果没有正交这个条件，则矩阵$A$不会是对称、正定、投影矩阵。因为特征向量的正交性我们才能直接去看特征值的性质。

3. 复习奇异值分解，$A=U\Sigma V^T$：

   先求正交矩阵$V$：$A^{T}A=V{\Sigma }^T{U}^{T}U\Sigma V^T=V\left({\Sigma }^T\Sigma \right)V^T$，所以$V$是矩阵$A^{T}A$的特征向量矩阵，而矩阵${\Sigma }^T\Sigma$是矩阵$A^{T}A$的特征值矩阵，即$A^{T}A$的特征值为${\sigma }^2$。

   接下来应该求正交矩阵$U$：$A{A}^T=U{\Sigma }^T{V}^{T}V\Sigma U^T=U\left({\Sigma }^T\Sigma \right)U^T$，但是请注意，我们在这个式子中无法确定特征向量的符号，我们需要使用$A{v}_i={\sigma }_i{u}_i$，通过已经求出的$v_i$来确定$u_i$的符号（因为$AV=U\Sigma$），进而求出$U$。

   举例点评：已知$A=\left[u_1{u}_2\right]\left[\begin{array}{cc}3& 0\\ 0& 2\end{array}\right][v_1{v}_2{]}^T$

   从已知的$\Sigma$矩阵可以看出，$A$矩阵是非奇异矩阵，因为它没有零奇异值。另外，如果把$\Sigma$矩阵中的$2$改成$-5$，则题目就不再是奇异值分解了，因为奇异值不可能为负；如果将$2$变为$0$，则$A$是奇异矩阵，它的秩为$1$，零空间为$1$维，$v_2$在其零空间中。

4. $A$是正交对称矩阵，那么它的特征值具有什么特点？

   首先，对于对称矩阵，有特征值均为实数；

   然后是正交矩阵，直觉告诉我们$|\lambda |=1$。

   对于$Qx=\lambda x$，我们两边同时取模有$\Vert Qx\Vert =|\lambda |\Vert x\Vert$，而正交矩阵不会改变向量长度，所以有$\Vert x\Vert =|\lambda |\Vert x\Vert$，因此$\lambda =\pm 1$。

   • $A$是正定的吗？

     并不一定，因为特征向量可以取$-1$。

   • $A$的特征值没有重复吗？

     不是，如果矩阵大于$2$阶则必定有重复特征值，因为只能取$\pm 1$。

   • $A$可以被对角化吗？

     是的，任何对称矩阵、任何正交矩阵都可以被对角化。

   • $A$是非奇异矩阵吗？

     是的，正交矩阵都是非奇异矩阵。很明显它的特征值都不为零。

   • 证明$P=\frac{1}{2}(A+I)$是投影矩阵。

     证法1：我们使用投影矩阵的性质验证，首先由于$A$是对称矩阵，则$P$一定是对称矩阵；接下来需要验证$P^2=P$，也就是$\frac{1}{4}\left(A^2+2A+I\right)=\frac{1}{2}(A+I)$。来看看$A^2$是什么，$A$是正交矩阵则$A^T=A^{-1}$，而$A$又是对称矩阵则$A=A^T=A^{-1}$，所以$A^2=I$。带入原式有$\frac{1}{4}(2A+2I)=\frac{1}{2}(A+I)$，得证。

     证法2：我们可以使用特征值验证，$A$的特征值可以取$\pm 1$，则$A+I$的特征值可以取$0,2$，$\frac{1}{2}(A+I)$的特征值为$0,1$，特征值满足投影矩阵且它又是对称矩阵，得证。

34.左右逆和伪逆

前面我们涉及到的逆（inverse）都是指左、右乘均成立的逆矩阵，即$A^{-1}A=I=A{A}^{-1}$。在这种情况下，$m\times n$矩阵$A$满足$m=n=rank(A)$，也就是满秩方阵。

左逆（left inserve）

左逆的由来和定义

最小二乘中（第十六讲）介绍过列满秩的情况，也就是列向量线性无关，但行向量通常不是线性无关的。常见的列满秩矩阵$A$满足$m>n=rank(A)$。

列满秩时，列向量线性无关，所以其零空间中只有零解，方程$Ax=b$可能有一个唯一解

$b$在$A$的列空间中，此特解就是全部解，因为通常的特解可以通过零空间中的向量扩展出一组解集，而此时零空间只有列向量），也可能无解（$b$不在$A$的列空间中。

此时行空间为${\mathbb{R}}^n$，也正印证了与行空间互为正交补的零空间中只有列向量。

• 现在来观察$A^{T}A$，也就是在$m>n=rank(A)$的情况下，$n\times m$矩阵乘以$m\times n$矩阵，结果为一个满秩的$n\times n$矩阵，所以$A^{T}A$是一个可逆矩阵。也就是说$\underbrace{{\left(A^{T}A\right)}^{-1}{A}^T}A=I$成立，而大括号部分的${\left(A^{T}A\right)}^{-1}{A}^T$称为长方形矩阵$A$的左逆
  $$A_{left}^{-1}={\left(A^{T}A\right)}^{-1}{A}^T$$

最小二乘复习

关键方程$A^{T}A\hat{x}=A^{T}b$，

$A_{left}^{-1}$被当做一个系数矩阵乘在$b$向量上，求得$b$向量投影在$A$的列空间之后的解
$$\hat{x}={\left(A^{T}A\right)}^{-1}{A}^{T}b$$
如果我们强行给左逆左乘矩阵$A$，得到的矩阵就是投影矩阵$P=A{\left(A^{T}A\right)}^{-1}{A}^T$，来自$p=A\hat{x}=A{\left(A^{T}A\right)}^{-1}{A}^T$，它将右乘的向量$b$投影在矩阵$A$的列空间中。

• 再来观察$A{A}^T$矩阵，这是一个$m\times m$矩阵，秩为$rank(A{A}^T)=n<m$，也就是说$A{A}^T$是不可逆的。

右逆（right inverse）

右逆也就是研究$m\times n$矩阵$A$行满秩的情况，此时$n>m=rank(A)$。对称的，其左零空间中仅有零向量，即没有行向量的线性组合能够得到零向量。

行满秩时，矩阵的列空间将充满向量空间$C(A)={\mathbb{R}}^m$，所以方程$Ax=b$总是有解集，由于消元后有$n-m$个自由变量，所以方程的零空间为$n-m$维。

• 与左逆对称，再来观察$A{A}^T$，在$n>m=rank(A)$的情况下，$m\times n$矩阵乘以$n\times m$矩阵，结果为一个满秩的$m\times m$矩阵，所以此时$A{A}^T$是一个满秩矩阵，也就是$A{A}^T$可逆。所以$A\underbrace{A^T\left(A{A}^T\right)}=I$，大括号部分的$A^T\left(A{A}^T\right)$称为长方形矩阵的右逆
  KaTeX parse error: Can't use function '$' in math mode at position 2: $̲A^{-1}_{right}=…
  同样的，如果我们强行给右逆右乘矩阵$A$，将得到另一个投影矩阵$P=A^T\left(A{A}^T\right)A$，与上一个投影矩阵不同的是，这个矩阵的$A$全部变为$A^T$了。所以这是一个能够将右乘的向量$b$投影在$A$的行空间中。

前面我们提及了逆（方阵满秩），并讨论了左逆（矩阵列满秩）、右逆（矩阵行满秩），现在看一下第四种情况，$m\times n$矩阵$A$不满秩的情况。

伪逆（pseudo inverse）

伪逆的基本思想

有$m\times n$矩阵$A$，满足$rank(A)<min(m,n)$，则

• 列空间$C(A)\in {\mathbb{R}}^m,\dim C(A)=r$，左零空间$N\left(A^T\right)\in {\mathbb{R}}^m,\dim N\left(A^T\right)=m-r$，列空间与左零空间互为正交补；
• 行空间$C\left(A^T\right)\in {\mathbb{R}}^n,\dim C\left(A^T\right)=r$，零空间$N(A)\in {\mathbb{R}}^n,\dim N(A)=n-r$，行空间与零空间互为正交补。

1. 现在任取一个向量$x$，乘上$A$后结果$Ax$一定落在矩阵$A$的列空间$C(A)$中。而根据维数，$x\in {\mathbb{R}}^n,Ax\in {\mathbb{R}}^m$，那么我们现在猜测，输入向量$x$全部来自矩阵的行空间，而输出向量$Ax$全部来自矩阵的列空间，并且是一一对应的关系，

也就是${\mathbb{R}}^n$的$r$维子空间到${\mathbb{R}}^m$的$r$维子空间的映射。

而矩阵$A$现在有这些零空间存在，其作用是将某些向量变为零向量，这样${\mathbb{R}}^n$空间的所有向量都包含在行空间与零空间中，所有向量都能由行空间的分量和零空间的分量构成。伪逆变换将零空间的分量消除（不考虑）。

但如果我们只看行空间中的向量，那就全部变换到列空间中了。

2. 那么，我们现在只看行空间与列空间，在行空间中任取两个向量$x,y\in C(A^T)$，则有$Ax\ne Ay$。所以从行空间到列空间，变换$A$是个不错的映射，如果限制在这两个空间上，$A$可以说“是个可逆矩阵”，那么它的逆就称作伪逆，而这个伪逆的作用就是将列空间的向量一一映射到行空间中。通常，伪逆记作$A^{+}$，因此$Ax=(Ax),y=A^{+}(Ay)$。

现在我们来证明对于$x,y\in C\left(A^T\right),x\ne y$，有$Ax,Ay\in C(A),Ax\ne Ay$：

• 反证法，设$Ax=Ay$，则有$A(x-y)=0$，即向量$x-y\in N(A)$；
• 另一方面，向量$x,y\in C\left(A^T\right)$，所以两者之差$x-y$向量也在$C\left(A^T\right)$中，即$x-y\in C\left(A^T\right)$；
• 此时满足这两个结论要求的仅有一个向量，即零向量同时属于这两个正交的向量空间，从而得到$x=y$，与题设中的条件矛盾，得证。

伪逆的应用

伪逆在统计学中非常有用，以前我们做最小二乘需要矩阵列满秩这一条件，只有矩阵列满秩才能保证$A^{T}A$是可逆矩阵，而统计中经常出现重复测试，会导致列向量线性相关，在这种情况下$A^{T}A$就成了奇异矩阵，这时候就需要伪逆。

伪逆的求解方法

接下来我们介绍如何计算伪逆$A^{+}$：

奇异值分解法

1. $A=U\Sigma V^T$，其中的对角矩阵型为$\Sigma =\left[\begin{array}{cccc}{\sigma }_1& & & \\ & \ddots & & \\ & & {\sigma }_2& \\ & & & \left[\begin{array}{c}0\end{array}\right]\end{array}\right]$，对角线非零的部分来自$A^{T}A,A{A}^T$比较好的部分，剩下的来自左/零空间。

2. 看一下$\Sigma$矩阵的伪逆是多少，这是一个$m\times n$矩阵，$rank(\Sigma )=r$，${\Sigma }^{+}=\left[\begin{array}{cccc}\frac{1}{{\sigma }_1}& & & \\ & \ddots & & \\ & & \frac{1}{{\sigma }_r}& \\ & & & \left[\begin{array}{c}0\end{array}\right]\end{array}\right]$

   $\Sigma$矩阵的伪逆是一个$n\times m$矩阵

   所以以下关系成立：
   $$\begin{gathered} \Sigma {\Sigma }^{+}={\left[\begin{array}{cccc}1& & & \\ & \ddots & & \\ & & 1& \\ & & & \left[\begin{array}{c}0\end{array}\right]\end{array}\right]}_{m\times m} \\ {\Sigma }^{+}\Sigma ={\left[\begin{array}{cccc}1& & & \\ & \ddots & & \\ & & 1& \\ & & & \left[\begin{array}{c}0\end{array}\right]\end{array}\right]}_{n\times n} \end{gathered}$$

观察$\Sigma {\Sigma }^{+}$和${\Sigma }^{+}\Sigma$不难发现，$\Sigma {\Sigma }^{+}$是将向量投影到列空间上的投影矩阵，而${\Sigma }^{+}\Sigma$是将向量投影到行空间上的投影矩阵。

我们不论是左乘还是右乘伪逆，得到的不是单位矩阵，而是投影矩阵。

该投影将向量带入比较好的空间（行空间和列空间，而不是左/零空间）。

3. 接下来我们来求$A$的伪逆：
   $$A^{+}=V{\Sigma }^{+}{U}^T$$

35.期末复习

从以往的试题入手复习知识点。

1. 已知$m\times n$矩阵$A$，有$Ax=\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]$无解；$Ax=\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right]$仅有唯一解，求关于$m,n,rank(A)$的信息。

   解：首先，最容易判断的是$m=3$；而根据第一个条件可知，矩阵不满秩，有$r<m$；

   根据第二个条件可知，零空间仅有零向量，也就是矩阵消元后没有自由变量，列向量线性无关，所以有$r=n$。

   综上，有$m=3>n=r$。

   • 根据所求写出一个矩阵$A$的特例：$A=\left[\begin{array}{cc}0& 0\\ 1& 0\\ 0& 1\end{array}\right]$。

   • $\det A^{T}A\stackrel{?}{=}\det A{A}^T$

     不相等，因为$A^{T}A$可逆而$A{A}^T$不可逆，所以行列式不相等。（但是对于方阵，$\det AB=\det BA$恒成立。）

   • $A^{T}A$可逆吗？

     是，因为$r=n$，矩阵列向量线性无关，即列满秩。

   • $A{A}^T$正定吗？

     否，因为$A{A}^T$是$3\times n$矩阵与$n\times 3$矩阵之积，是一个三阶方阵，而$A{A}^T$秩为$2$，所以不是正定矩阵。（不过$A{A}^T$一定是半正定矩阵。）

   • 求证$A^{T}y=c$至少有一个解

     因为$A$的列向量线性无关，所以$A^T$的行向量线性无关，消元后每行都有主元，且总有自由变量，所以零空间中有非零向量，零空间维数是$m-r$（可以直接从$\dim N\left(A^T\right)=m-r$得到结论）。

2. 设$A=\left[v_1{v}_2{v}_3\right]$，对于$Ax=v_1-v_2+v_3$，求$x$。

   按列计算矩阵相乘，有$x=\left[\begin{array}{c}1\\ -1\\ 1\end{array}\right]$。

   • 若Ax=v_1-v_2+v_3=0，则解是唯一的吗？为什么。

     如果解是唯一的，则零空间中只有零向量，而在此例中$x=\left[\begin{array}{c}1\\ -1\\ 1\end{array}\right]$就在零空间中，所以解不唯一。

   • *若$v_1,v_2,v_3$是标准正交向量，那么怎样的线性组合$c_1{v}_1+c_2{v}_2$能够最接近$v_3$？

     此问是考察投影概念，由于是正交向量，所以只有$0$向量最接近$v_3$。

3. 矩阵$A=\left[\begin{array}{ccc}.2& .4& .3\\ .4& .2& .3\\ .4& .4& .4\end{array}\right]$，求稳态。

   1. 这是个马尔科夫矩阵，前两之和为第三列的两倍，奇异矩阵总有一个特征值为$0$，而马尔科夫矩阵总有一个特征值为$1$，剩下一个特征值从矩阵的迹得知为$-.2$。

   2. 再看马尔科夫过程，设从$u(0)$开始，$u_k=A^k{u}_0,u_0=\left[\begin{array}{c}0\\ 10\\ 0\end{array}\right]$。先代入特征值${\lambda }_1=0,{\lambda }_2=1,{\lambda }_3=-.2$查看稳态$u_k=c_1{\lambda }_1^k{x}_1+c_2{\lambda }_2^k{x}_2+c_3{\lambda }_3^k{x}_3$，当$k\to \infty$，第一项与第三项都会消失，剩下$u_{\infty }=c_2{x}_2$。

   3. 到这里我们只需求出${\lambda }_2$对应的特征向量即可，带入特征值求解$(A-I)x=0$，有$\left[\begin{array}{ccc}-.8& .4& .3\\ .4& -.8& .3\\ .4& .4& -.6\end{array}\right]\left[\begin{array}{c}?\\ ?\\ ?\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right]$，可以消元得，也可以直接观察得到$x_2=\left[\begin{array}{c}3\\ 3\\ 4\end{array}\right]$。

   4. 剩下就是求$c_2$了，可以通过$u_0$一一解出每个系数，但是这就需要解出每一个特征值。另一种方法，我们可以通过马尔科夫矩阵的特性知道，对于马尔科夫过程的每一个$u_k$都有其分量之和与初始值分量之和相等，所以对于$x_2=\left[\begin{array}{c}3\\ 3\\ 4\end{array}\right]$，有$c_2=1$。所以最终结果是

   $$u_{\infty }=\left[\begin{array}{c}3\\ 3\\ 4\end{array}\right]$$

4. 对于二阶方阵，回答以下问题：

   • 求投影在直线$a=\left[\begin{array}{c}4\\ -3\end{array}\right]$上的投影矩阵

     应为$P=\frac{a{a}^T}{a^{T}a}$。

   • 已知特征值${\lambda }_1=2,x_1=\left[\begin{array}{c}1\\ 2\end{array}\right]{\lambda }_2=3,x_2=\left[\begin{array}{c}2\\ 1\end{array}\right]$求原矩阵$A$

     从对角化公式得$A=S\Lambda S^{-1}=\left[\begin{array}{cc}1& 2\\ 2& 1\end{array}\right]\left[\begin{array}{cc}0& 0\\ 0& 3\end{array}\right]{\left[\begin{array}{cc}1& 2\\ 2& 1\end{array}\right]}^{-1}$，解之即可。

   • $A$是一个实矩阵，且对任意矩阵$B$，$A$都不能分解成$A=B^{T}B$，给出$A$的一个例子

     我们知道$B^{T}B$是对称的，所以给出一个非对称矩阵即可。

   • 矩阵$A$有正交的特征向量，但不是对称的，给出一个$A$的例子

     我们在三十三讲提到过，反对称矩阵，因为满足$A{A}^T=A^{T}A$而同样具有正交的特征向量，所以有$A=\left[\begin{array}{cc}0& 1\\ -1& 0\end{array}\right]$或旋转矩阵$\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]$，这些矩阵都具有复数域上的正交特征向量组。

5. 最小二乘问题，因为时间的关系直接写出计算式和答案，$\left[\begin{array}{cc}1& 0\\ 1& 1\\ 1& 2\end{array}\right]\left[\begin{array}{c}C\\ D\end{array}\right]=\left[\begin{array}{c}3\\ 4\\ 1\end{array}\right](Ax=b)$，解得$\left[\begin{array}{c}\hat{C}\\ \hat{D}\end{array}\right]=\left[\begin{array}{c}\frac{11}{3}\\ -1\end{array}\right]$。

   • 求投影后的向量$p$：

     向量$p$就是向量$b$在矩阵$A$列空间中的投影，所以$p=\left[\begin{array}{c}{p}_1\\ p_2\\ p_3\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 1& 1\\ 1& 2\end{array}\right]\left[\begin{array}{c}\hat{C}\\ \hat{D}\end{array}\right]$。

   • 求拟合直线的图像

     $x=0,1,2$时$y=p_1,p_2,p_2$所在的直线的图像，$y=\hat{C}+\hat{D}x$即$y=\frac{11}{3}-x$。

   • 求一个向量$b$使得最小二乘求得的$\left[\begin{array}{c}\hat{C}\\ \hat{D}\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$

     我们知道最小二乘求出的向量$\left[\begin{array}{c}\hat{C}\\ \hat{D}\end{array}\right]$使得$A$列向量的线性组合最接近$b$向量（即$b$在$A$列空间中的投影），如果这个线性组合为$0$向量（即投影为$0$），则$b$向量与$A$的列空间正交，所以可以取$b=\left[\begin{array}{c}1\\ -2\\ 1\end{array}\right]$同时正交于$A$的两个列向量。