MIT公开课18.06 Gilbert Strang 线性代数 笔记2 - 最小二乘法，行列式和特征值

第14讲：正交向量与子空间

正交向量

对于向量$x,y$，当$x^T\cdot y=0$即$x_1{y}_1+x_2{y}_x+\cdots +x_n{y}_n=0$时，有向量$x,y$正交（vector orthogonal）。

毕达哥拉斯定理（Pythagorean theorem）中提到，直角三角形的三条边满足：

$$\begin{array}{rl}{\Vert \overrightarrow{x}\Vert }^2+{\Vert \overrightarrow{y}\Vert }^2& ={\Vert \overrightarrow{x+y}\Vert }^2\\ x^{T}x+y^{T}y& =(x+y{)}^T(x+y)\\ x^{T}x+y^{T}y& =x^{T}x+y^{T}y+x^{T}y+y^{T}x\\ 0& =x^{T}y+y^{T}x对于向量点乘，x^{T}y=y^{T}x\\ 0& =2x^{T}y\\ x^{T}y& =0\end{array}$$

由此得出，两正交向量的点积为$0$。另外，$x,y$可以为$0$向量，由于$0$向量与任意向量的点积均为零，所以$0$向量与任意向量正交。

举个例子：
$x=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right],y=\left[\begin{array}{c}2\\ -1\\ 0\end{array}\right],x+y=\left[\begin{array}{c}3\\ 1\\ 3\end{array}\right]$，有${\Vert \overrightarrow{x}\Vert }^2=14,{\Vert \overrightarrow{y}\Vert }^2=5,{\Vert \overrightarrow{x+y}\Vert }^2=19$，而$x^{T}y=1\times 2+2\times (-1)+3\times 0=0$。

子空间正交

定义：两空间正交意味着在空间$A$中的所有向量都和在空间$B$中的所有向量正交

推论：如果两个空间相交于一个非零向量，则两个空间不可能正交
因为一个非零向量不可能与其本身正交

行空间正交于零空间
证明：
零空间是$Ax=0$的解，即$x$若在零空间，则$Ax$为零向量；
而对于行空间，有 $$\left[\begin{array}{c}ro{w}_1\\ ro{w}_2\\ ⋮\\ ro{w}_m\end{array}\right]\left[x\right]=\left[\begin{array}{c}0\\ 0\\ ⋮\\ 0\end{array}\right]$$，可以看出：
$$\begin{gathered} \left[\begin{array}{c}ro{w}_1\end{array}\right]\left[x\right]=0 \\ \left[\begin{array}{c}ro{w}_2\end{array}\right]\left[x\right]=0 \\ ⋮ \\ \left[\begin{array}{c}ro{w}_m\end{array}\right]\left[x\right]=0 \end{gathered}$$

所以这个等式告诉我们，$x$同$A$中的所有行正交；

接下来还验证$x$是否与$A$中各行的线性组合正交，
$$\{\begin{array}{l}{c}_1(ro{w}_1{)}^{T}x=0\\ c_2(ro{w}_2{)}^{T}x=0\\ ⋮\\ c_n(ro{w}_m{)}^{T}x=0\end{array}$$
各式相加得$(c_{1}ro{w}_1+c_{2}ro{w}_2+\cdots +c_{n}ro{w}_m{)}^{T}x=0$，得证。

我们可以说，行空间与零空间将${\mathbb{R}}^n$分割为两个正交的子空间，同样的，列空间与左零空间将${\mathbb{R}}^m$分割为两个正交的子空间。

举例，$A=\left[\begin{array}{ccc}1& 2& 5\\ 2& 4& 10\end{array}\right]$，则可知$m=2,n=3,rank(A)=1,dimN(A)=2$。

有$Ax=\left[\begin{array}{ccc}1& 2& 5\\ 2& 4& 10\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$，解得零空间的一组基$x_1=\left[\begin{array}{c}-2\\ 1\\ 0\end{array}\right]x_2=\left[\begin{array}{c}-5\\ 0\\ 1\end{array}\right]$。

而行空间的一组基为$r=\left[\begin{array}{c}1\\ 2\\ 5\end{array}\right]$，零空间与行空间正交，在本例中行空间也是零空间的法向量。

在上例中，我们发现行空间与零空间的维度之和 = 整个空间的维度：
行空间与零空间为$n$维空间里的正交补（orthogonal complement），即零空间包含了所有与行空间正交的向量
同理列空间与左零空间为$m$维空间里的正交补，即左零空间包含了所有与列空间正交的向量。

当$Ax=b$无解时，如何去“解”这个方程组

无解：即$b$不在$A$的列空间中

对于长方矩阵，$m>n$，无解的情况很常见：如测量卫星的位置，测了一千次，得到了一千个方程，但实际上只需要几个参数便可确定其位置。

对于这种矩阵，$Ax=b$中经常混入一些包含“坏数据”的方程，虽然可以通过筛选的方法去掉一些我们不希望看到的方程，但是这并不是一个稳妥的方法。

于是，我们引入一个重要的矩阵：$A^{T}A$。这是一个$n\times m$矩阵点乘$m\times n$矩阵，其结果是一个$n\times n$矩阵，应该注意的是，这也是一个对称矩阵，证明如下：

$$(A^{T}A{)}^T=A^T(A^T{)}^T=A^{T}A$$

这一章节的核心就是$A^{T}Ax=A^{T}b$，这个变换可以将“坏方程组”变为“好方程组”。

举例，有$\left[\begin{array}{cc}1& 1\\ 1& 2\\ 1& 5\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\\ b_3\end{array}\right]$，只有当$\left[\begin{array}{c}{b}_1\\ b_2\\ b_3\end{array}\right]$在矩阵的列空间时，方程才有解。

$A^{T}A$：$\left[\begin{array}{ccc}1& 1& 1\\ 1& 2& 5\end{array}\right]\left[\begin{array}{cc}1& 1\\ 1& 2\\ 1& 5\end{array}\right]=\left[\begin{array}{cc}3& 8\\ 8& 30\end{array}\right]$，可以看出此例中$A^{T}A$是可逆的，于是列空间就是整个$n$维空间，方程总是有解。
然而并非所有$A^{T}A$都是可逆的，如$\left[\begin{array}{ccc}1& 1& 1\\ 3& 3& 3\end{array}\right]\left[\begin{array}{cc}1& 3\\ 1& 3\\ 1& 3\end{array}\right]=\left[\begin{array}{cc}3& 9\\ 9& 27\end{array}\right]$（注意到这是两个秩一矩阵相乘，得到的矩阵的秩不会大于一）

先给出结论：

$$\begin{gathered} N(A^{T}A)=N(A) \\ rank(A^{T}A)=rank(A) \\ {A}^{T}A可逆当且仅当N(A)为零向量，即A的列线性无关 \end{gathered}$$

下一讲涉及这些结论的证明和投影，很重要。

第15讲：子空间投影

背景:$Ax=b$无解时，求它的“解”

故事还要从$Ax=b$无解的时候说起，当其无解的时候，我们只能求出最接近的那个解。

我们想要的是“最优解”，即这个解对于原方程偏差$error$ 最小
$Ax$总是在$A$的列空间中，而$b$却不一定，这是问题所在，所以我们可以将$b$变为$A$的列空间中最接近的那个向量，即当我们取$b$在列空间中的投影$p$时，求解$A\hat{x}=p$，此时的解的$error$最小，$\hat{x}$不再是那个不存在的$x$，而是最接近的解

简单二维上的投影

从${\mathbb{R}}^2$空间讲起，有向量$a,b$，做$b$在$a$上的投影$p$，如图：

从图中我们知道，向量$e$就像是向量$b,p$之间的误差，$e=b-p,e\perp p$。$p$在$a$上，有$p=xa$。

所以有$a^{T}e=a^T(b-p)=a^T(b-xa)=0$。关于正交的最重要的方程：

$$\begin{gathered} a^T(b-xa)=0 \\ x{a}^{T}a=a^{T}b \\ x=\frac{a^{T}b}{a^{T}a} \\ p=a\frac{a^{T}b}{a^{T}a} \end{gathered}$$

从上面的式子可以看出，如果将$b$变为$2b$则$p$也会翻倍，如果将$a$变为$2a$则$p$不变(联想图中的意思)

设投影矩阵为$P$，则可以说投影矩阵作用与某个向量后，得到其投影向量$p$，$p=Pb$。

易得出$P=\frac{a{a}^T}{a^{T}a}$
$a^{T}a$为一个数，$a{a}^T$列乘以行为一个矩阵，若$a$是$n$维列向量，则$P$是一个$n\times n$矩阵。

投影矩阵$P$的列空间$C(P)$是一条和$a$重合的直线，$rank(P)=1$（一列乘以一行：$a{a}^T$，矩阵(这里为$a$)乘以任意向量(矩阵可看作向量组，这里把$a^T$看作一向量组)都是其列空间的重新线性组合，因此$a$是该矩阵的基）。

投影矩阵的性质：

• $P=P^T$，投影矩阵是一个对称矩阵。
• 如果对一个向量做两次投影，即$PPb$，则其结果仍然与$Pb$相同，也就是$P^2=P$。

记住这三个公式：
$$\begin{gathered} x=\frac{a^{T}b}{a^{T}a} \\ p=ax=a\frac{a^{T}b}{a^{T}a} \\ P=\frac{a{a}^T}{a^{T}a} \end{gathered}$$

推广到高维

现在来看${\mathbb{R}}^3$中的情形，将向量$b$投影在平面$A$上。同样的，$p$是向量$b$在平面$A$上的投影，$e$是垂直于平面$A$的向量，即$b$在平面$A$法方向的分量。
设平面$A$的一组基为$a_1,a_2$，则投影向量可以表示为基的线性组合$p=\widehat{x_1}{a}_1+\widehat{x_2}{a}_2$，我们更倾向于写作$p=A\hat{x}$，这里如果我们求出$\hat{x}$，则该解就是无解方程组最近似的解。

现在问题的关键在于找$e=b-A\hat{x}$，使它垂直于平面，因此我们得到两个方程
$$\{\begin{array}{l}{a}_1^T(b-A\hat{x})=0\\ a_2^T(b-A\hat{x})=0\end{array}$$，将方程组写成矩阵形式
$$\left[\begin{array}{c}{a}_1^T\\ a_2^T\end{array}\right](b-A\hat{x})=\left[\begin{array}{c}0\\ 0\end{array}\right]$$，即$A^T(b-A\hat{x})=0$。

比较该方程与${\mathbb{R}}^2$中的投影方程，发现只是向量$a$变为矩阵$A$而已，本质上就是$A^{T}e=0$，所以，$e$在$A^T$的零空间中（$e\in N(A^T)$）。
从前一讲我们知道，左零空间与列空间正交补，有$e\perp C(A)$，与我们设想的一致。

再化简方程得$A^{T}A\hat{x}=A^{T}b$，比较在${\mathbb{R}}^2$中的情形，$a^{T}a$是一个数字而$A^{T}A$是一个$n$阶方阵，解出的$x$可以看做两个数字的比值。现在在${\mathbb{R}}^3$中，我们需要再次考虑：什么是$\hat{x}$？投影是什么？投影矩阵又是什么？

• 第一个问题：$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$；
• 第二个问题：$p=A\hat{x}=\underline{A(A^{T}A{)}^{-1}{A}^T}b$，回忆在${\mathbb{R}}^2$中的情形，下划线部分就是原来的$\frac{a{a}^T}{a^{T}a}$；
• 第三个问题：$p=Pb$，易得出投影矩阵就是下划线部分$P=A(A^{T}A{)}^{-1}{A}^T$。

这里还需要注意一个问题，$P=A(A^{T}A{)}^{-1}{A}^T$是不能继续化简为$P=A{A}^{-1}(A^T{)}^{-1}{A}^T=I$的，因为这里的$A$并不是一个可逆方阵。
也可以换一种思路，如果$A$是一个$n$阶可逆方阵，则$A$的列空间是整个${\mathbb{R}}^n$空间，于是$b$在${\mathbb{R}}^n$上的投影矩阵确实变为了$I$，因为$b$已经在空间中了，其投影不再改变。

再来看投影矩阵$P$的性质：

• $P=P^T$：有
  ${\left[A(A^{T}A{)}^{-1}{A}^T\right]}^T=A{\left[(A^{T}A{)}^{-1}\right]}^T{A}^T$，而$(A^{T}A)$是对称的，所以其逆也是对称的，所以有$A((A^{T}A{)}^{-1}{)}^T{A}^T=A(A^{T}A{)}^{-1}{A}^T$，得证。
• $P^2=P$：有
  $\left[A(A^{T}A{)}^{-1}{A}^T\right]\left[A(A^{T}A{)}^{-1}{A}^T\right]=A(A^{T}A{)}^{-1}\left[(A^{T}A)(A^{T}A{)}^{-1}\right]A^T=A(A^{T}A{)}^{-1}{A}^T$，得证。

应用举例：最小二乘法拟合直线

我们需要找到距离图中三个点 $(1,1),(2,2),(3,2)$ 偏差最小的直线：$b=C+Dt$。

根据条件可以得到方程组
$$\{\begin{array}{ll}C+D& =1\\ C+2D& =2\\ C+3D& =2\end{array}$$，写作矩阵形式
$\left[\begin{array}{cc}1& 1\\ 1& 2\\ 1& 3\end{array}\right]\left[\begin{array}{c}C\\ D\end{array}\right]=\left[\begin{array}{c}1\\ 2\\ 2\end{array}\right]$，也就是我们的$Ax=b$，很明显方程组无解。但是$A^{T}A\hat{x}=A^{T}b$有解（$A^{T}A$和$A^{T}b$都是$A^T$的重新线性组合，所以在同一空间），于是我们将原是两边同时乘以$A^T$后得到的新方程组是有解的，$A^{T}A\hat{x}=A^{T}b$也是最小二乘法的核心方程。

下一讲将进行最小二乘法的验算。

总结

$Ax=b$无解时，可求其近似解：$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$

$b$在$A$的列空间上的投影$p$：$p=A\hat{x}=\underline{A(A^{T}A{)}^{-1}{A}^T}b$

投影矩阵$P$：$P=A(A^{T}A{)}^{-1}{A}^T$，$P=P^T$，$P^2=P$

第16讲：投影矩阵和最小二乘

回顾上讲

上一讲中，我们知道了投影矩阵$P=A(A^{T}A{)}^{-1}{A}^T$，$Pb$将会把向量投影在$A$的列空间中。

一般情况下，$b$将会有一个垂直于$A$的分量，和一个在$A$列空间中的分量，投影的作用就是去掉垂直分量而保留列空间中的分量。

举两个极端的例子：

• 如果$b\perp C(A)$，则$Pb=0$。
• 如果$b\in C(A)$，则$Pb=b$；

在第一个极端情况中，如果$b\perp C(A)$则有$b\in N(A^T)$，即$A^{T}b=0$。则$p=Pb=A(A^{T}A{)}^{-1}{A}^{T}b=0$，得证。

在第二个极端情况中，如果$b\in C(A)$则有$b=Ax$。带入投影矩阵$p=Pb=A(A^{T}A{)}^{-1}{A}^{T}Ax=Ax$，得证。

向量$b$投影后，有$b=e+p,p=Pb,e=(I-P)b$，这里的$p$是$b$在$C(A)$中的投影，而$e$是$b$在$N(A^T)$中的投影。

最小二乘

问题描述

可以从两个图描述该问题

向量关系图

最优直线图

我们需要找到距离图中三个点 $(1,1),(2,2),(3,2)$ 偏差最小的直线：$y=C+Dt$。

根据条件可以得到方程组
$$\{\begin{array}{ll}C+D& =1\\ C+2D& =2\\ C+3D& =2\end{array}$$
写作矩阵形式:
$\left[\begin{array}{cc}1& 1\\ 1& 2\\ 1& 3\end{array}\right]\left[\begin{array}{c}C\\ D\end{array}\right]=\left[\begin{array}{c}1\\ 2\\ 2\end{array}\right]$，也就是我们的$Ax=b$，很明显方程组无解。

我们需要求一个最接近的解，使得误差$e_1^2+e_2^2+e_3^2$最小，找到拥有最小平方和的解（即最小二乘），即${\Vert Ax-b\Vert }^2={\Vert e\Vert }^2$最小。

此时向量$b$变为在$A$上的投影 向量$p$：
$$p=\left[\begin{array}{c}{p}_1\\ p_2\\ p_3\end{array}\right]$$（在方程组有解的情况下，$Ax-b=0$，即$b$在$A$的列空间中，误差$e$为零）
我们现在做的运算也称作线性回归（linear regression），使用误差的平方和作为测量总误差的标准。

注：如果有另一个点，如$(0,100)$，在本例中该点明显距离别的点很远，最小二乘将很容易被离群的点影响，通常使用最小二乘时会去掉明显离群的点。

求解

现在我们尝试解出$\hat{x}=\left[\begin{array}{c}\hat{C}\\ \hat{D}\end{array}\right]$与$p=\left[\begin{array}{c}{p}_1\\ p_2\\ p_3\end{array}\right]$。

$$\begin{gathered} A^{T}A\hat{x}=A^{T}b \\ {A}^{T}A=\left[\begin{array}{cc}3& 6\\ 6& 14\end{array}\right]A^{T}b=\left[\begin{array}{c}5\\ 11\end{array}\right] \\ \left[\begin{array}{cc}3& 6\\ 6& 14\end{array}\right]\left[\begin{array}{c}\hat{C}\\ \hat{D}\end{array}\right]=\left[\begin{array}{c}5\\ 11\end{array}\right] \end{gathered}$$

写作方程形式为$\{\begin{array}{ll}3\hat{C}+16\hat{D}& =5\\ 6\hat{C}+14\hat{D}& =11\end{array}$，也称作正规方程组（normal equations）。

解方程得$\hat{C}=\frac{2}{3},\hat{D}=\frac{1}{2}$，则“最佳直线”为$y=\frac{2}{3}+\frac{1}{2}t$

令$x=1，x=2,x=3$，解得$p_1=\frac{7}{6},p_2=\frac{5}{3},p_3=\frac{13}{6}$

所以$e_1=-\frac{1}{6},e_2=\frac{1}{3},e_3=-\frac{1}{6}$

我们得到$p=\left[\begin{array}{c}\frac{7}{6}\\ \frac{5}{3}\\ \frac{13}{6}\end{array}\right],e=\left[\begin{array}{c}-\frac{1}{6}\\ \frac{1}{3}\\ -\frac{1}{6}\end{array}\right]$

向量关系

易看出$b=p+e$，同时我们发现$p\cdot e=0$即$p\perp e$。

误差向量$e$不仅垂直于投影向量$p$，它垂直于列空间，比如垂直于列空间的这两个基 $\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right],\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]$。

对比向量关系图，结论一致。

微积分角度求解方案

回顾前面提到的“使得误差最小”的条件：
$e_1^2+e_2^2+e_3^2=(C+D-1{)}^2+(C+2D-2{)}^2+(C+3D-2{)}^2$，使该式取最小值
如果使用微积分方法，则需要对该式的两个变量$C,D$分别求偏导数，再令求得的偏导式为零即可，正是我们刚才求得的正规方程组。（正规方程组中的第一个方程是对$C$求偏导的结果，第二个方程式对$D$求偏导的结果，无论使用哪一种方法都会得到上面的方程组）

证明$A^{T}A$可逆

如果$A$的各列线性无关，求证$A^{T}A$是可逆矩阵。
根据第三讲的内容，要证$A^{T}A$可逆，只要证明：若$A^{T}Ax=0$，则$x$只能是零向量

所以先假设$A^{T}Ax=0$
两边同时乘以$x^T$有$x^T{A}^{T}Ax=0$
即$(Ax{)}^T(Ax)=0$，一个矩阵乘其转置结果为零，则这个矩阵也必须为零（$(Ax{)}^T(Ax)$相当于$Ax$长度的平方）
则$Ax=0$
结合题设中的“$A$的各列线性无关”，可知$x=0$
也就是$A^{T}A$的零空间中有且只有零向量，得证。

特殊的线性无关

我们再来看一种线性无关的特殊情况：互相垂直的列向量一定是线性无关的。（排除零向量）
比如：

• $\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$
• $\left[\begin{array}{c}\cos \theta \\ \sin \theta \end{array}\right]\left[\begin{array}{c}-\sin \theta \\ \cos \theta \end{array}\right]$

这些正交单位向量称作标准正交向量组（orthonormal vectors）。

下一讲研究标准正交向量组。

第17讲：正交矩阵和Gram-Schmidt正交化法

标准正交矩阵

定义

定义标准正交向量（orthonormal）：$q_i^T{q}_j=\{\begin{array}{l}0i\ne j\\ 1i=j\end{array}$
两两正交，长度为1的向量组

我们将标准正交向量放入矩阵中，有$Q=[q_1{q}_2\cdots q_n]$。
我们把$Q$称为标准正交矩阵（orthonormal matrix），常常省略叫正交矩阵。

$Q^{T}Q$

上一讲我们研究了$A^{T}A$的特性，现在来观察$Q^{T}Q=\left[\begin{array}{ccc}& q_1^T& \\ & q_2^T& \\ & ⋮& \\ & q_n^T& \end{array}\right][q_1{q}_2\cdots q_n]$

根据标准正交向量的定义，$Q^{T}Q=[\begin{array}{c}1\\ 0\\ ⋮\\ 0\end{array}$