16.投影矩阵，最小二乘

1. 投影矩阵

1.1 投影矩阵P

根据上节知识，我们知道当我们在解$AX=b$的时候，发现当向量b不在矩阵A的列空间的时候，我们希望的是通过投影，将向量b投影到矩阵A的列空间中，这样，我们可以求得一个近似的解，得到如下公式
$$A^{T}A\hat{X}=A^{T}b\text{\hspace{1em}(1)}$$

• 我们假设$A^{T}A可逆，$可得到解为：
  $$\hat{X}=(A^{T}A{)}^{-1}{A}^{T}b\text{\hspace{1em}(2)}$$
• 那么可以得到向量b在矩阵A的列空间向量p表示如下：
  $$p=A(A^{T}A{)}^{-1}{A}^{T}b\text{\hspace{1em}(3)}$$
• 由上可以看出，我们将矩阵$P=A(A^{T}A{)}^{-1}{A}^T$代入可得：
  $$p=Pb\text{\hspace{1em}(4)}$$
• 我们发现，向量b为不在矩阵A的列空间中的向量,p为向量b通过投影矩阵P转换后的向量。并且向量p是在矩阵A的列空间中。

1.2 投影向量

对于任意向量b来说，我们可以通过正交分解，将向量b分解到两个垂直的向量空间中，我们考虑两个极端的情况下

• 假设向量b在矩阵A的列空间中，那么向量b通过投影矩阵P的转换，还是得到其本身
  $$Pb=b\text{\hspace{1em}(5)}$$
• 假设向量b在垂直于矩阵A的列空间中，那么向量b通过投影矩阵P的转换，得到的将是零向量
  $$Pb=0\text{\hspace{1em}(6)}$$
  那么我们思考下，什么向量空间是垂直于矩阵A的列空间的呢？我们之前学过矩阵A的四个子空间，分别是

1. Row(A) —> 矩阵A的行空间；2.Colum(A) —> 矩阵A的列空间
2. N(A) —> 矩阵A的零解空间；4. $N(A^T)$ —> 矩阵$A^T$的零解空间
   我们可以将$A^T$按列向量拆解得到如下
   $$A^T=\left[\begin{array}{c}{a}_1^T\\ \\ a_2^T\\ \\ ⋮\\ \\ a_n^T\end{array}\right];\left[\begin{array}{c}{a}_1^T\\ \\ a_2^T\\ \\ ⋮\\ \\ a_n^T\end{array}\right]\left[\begin{array}{cccc}{y}_1& y_2& \dots & y_n\end{array}\right]=0\text{\hspace{1em}(7)}$$

• 由上述可以看出，$A^T$的零解空间是垂直于矩阵A的列空间的，所以我们可以将任意向量b 通过正交分解为一部分投影在列空间的向量p，另一部分投影在$A^T$的零解空间中的e
  
  $$\begin{gathered} p=Pb \\ e=(I-P)b\text{\hspace{1em}(8)} \end{gathered}$$

2. 线性回归

3. 直线拟合

假设我们有3个点，分别为A(1,1),B(2,2),C(3,2),需要拟合一个直线，如何保证 |AX-b|的值最小？

• 由上述两图可以看出，同样一个线性回归问题，左边可以用坐标图表示，右边可以用向量的形式表示，它们是同一问题的不同表现形式。
• 定义拟合直线为$Y=C+DX$,A,B,C在直线l上的拟合点用p1,p2,p3表示

$$\begin{gathered} C+D=1 \\ C+2D=2 \\ C+3D=2\text{\hspace{1em}(9)} \end{gathered}$$

• 矩阵形式如下：
  $$\left[\begin{array}{cc}1& 1\\ & \\ 1& 2\\ & \\ 1& 3\end{array}\right]\left[\begin{array}{c}C\\ \\ D\end{array}\right]=\left[\begin{array}{c}1\\ \\ 2\\ \\ 2\end{array}\right]\Rightarrow AX=b\text{\hspace{1em}(10)}$$
• 那么每个点关于拟合点的误差为
  $$\begin{gathered} e_1=C+D-1 \\ {e}_2=C+2D-2 \\ {e}_3=C+3D-2\text{\hspace{1em}(11)} \end{gathered}$$
• 目前我们的目的是找到最优的$\hat{X}$:
  $$\hat{X}=\left[\begin{array}{c}\hat{C}\\ \\ \hat{D}\end{array}\right]$$
• 可得方程组表示如下：
  $$A^{T}A\hat{X}=A^{T}b;A=\left[\begin{array}{cc}1& 1\\ & \\ 1& 2\\ & \\ 1& 3\end{array}\right]\text{\hspace{1em}(12)}$$
• 整理可得如下：
  $$\left[\begin{array}{cc}3& 6\\ & \\ 6& 14\end{array}\right]\left[\begin{array}{c}\hat{C}\\ \\ \hat{D}\end{array}\right]=\left[\begin{array}{c}5\\ \\ 11\end{array}\right]$$
• 求解的得到$\hat{C},\hat{D}$:
  $$\hat{C}=\frac{2}{3},\hat{D}=\frac{1}{2};\Rightarrow Y=\frac{2}{3}+\frac{1}{2}X\text{\hspace{1em}(13)}$$
• 代入可得$p_1,p_2,p_3$
  $$\begin{gathered} p_1=(1,\frac{7}{6});p_2=(2,\frac{10}{6});p_3=(3,\frac{13}{6}); \\ {e}_1=\frac{7}{6}-1=\frac{1}{6} \\ -------- \\ {e}_2=\frac{10}{6}-2=\frac{-2}{6} \\ -------- \\ {e}_3=\frac{13}{6}-2=\frac{1}{6}\text{\hspace{1em}(14)} \end{gathered}$$
  $$e=\left[\begin{array}{c}-\frac{1}{6}\\ \\ \frac{2}{6}\\ \\ -\frac{1}{6}\end{array}\right];b=\left[\begin{array}{c}1\\ \\ 2\\ \\ 2\end{array}\right];p=\left[\begin{array}{c}\frac{7}{6}\\ \\ \frac{10}{6}\\ \\ \frac{13}{6}\end{array}\right]\text{\hspace{1em}(15)}$$
• 我们发现如下数据,线性回归方程的方法和向量结果：
  $$\left[\begin{array}{c}1\\ \\ 2\\ \\ 2\end{array}\right]=\left[\begin{array}{c}-\frac{1}{6}\\ \\ \frac{2}{6}\\ \\ -\frac{1}{6}\end{array}\right]+\left[\begin{array}{c}\frac{7}{6}\\ \\ \frac{10}{6}\\ \\ \frac{13}{6}\end{array}\right]\Rightarrow b=e+p\text{\hspace{1em}(16)}$$
  $$结论：b=e+p\text{\hspace{1em}(17)}$$
  $$\left[\begin{array}{ccc}-\frac{1}{6}& \frac{2}{6}& -\frac{1}{6}\end{array}\right]\left[\begin{array}{c}\frac{7}{6}\\ \\ \frac{10}{6}\\ \\ \frac{13}{6}\end{array}\right]\Rightarrow e^{T}p=0\text{\hspace{1em}(18)}$$
  $$结论：e\perp p\text{\hspace{1em}(19)}$$
• 向量e与A的列空间关系
  $$\left[\begin{array}{cc}1& 1\\ & \\ 1& 2\\ & \\ 1& 3\end{array}\right]\left[\begin{array}{c}-\frac{1}{6}\\ \\ \frac{2}{6}\\ \\ -\frac{1}{6}\end{array}\right]=\left[\begin{array}{c}0\\ \\ 0\end{array}\right]\text{\hspace{1em}(20)}$$
  $$结论：e\perp 矩阵A的列空间\text{\hspace{1em}(21)}$$
  真神奇！！！！

4. A^TAX=0

假设我们给定条件为 矩阵A有n个线性无关的列向量， $A^{T}AX=0$ 如何证明 $A^{T}A$可逆？

• 将等式两边同时乘以$X^T$:
  $$X^T{A}^{T}AX=X^T\ast 0=0\Rightarrow (AX{)}^{T}AX=0\text{\hspace{1em}(22)}$$
  可以得到AX=0，由于矩阵A有n个线性无关的列向量，所以X必须为零向量；
  $$A^{T}AX=0中X必须为零向量，所以A^{T}A可逆！！！$$