子空间的投影与最小二乘法

子空间投影是线性代数重要的概念，最小二乘法是一个重要的应用，本文从理论证明和子空间投影两个方向理解。

一、矩阵乘法

在学矩阵乘法时接触最多的是，矩阵的每一行乘以矩阵的每一列。然而，我们可以从另外一个角度来理解矩阵的乘法，这对于从线性组合的角度理解线性空间是非常有帮助的。
首先我们先考虑矩阵和列向量相乘
$$\left(\begin{array}{ccc}2& 1& 3\\ 1& 1& 4\\ 2& 1& 3\end{array}\right)\times \left(\begin{array}{c}2\\ 1\\ 2\end{array}\right)=2\times \left(\begin{array}{c}2\\ 1\\ 2\end{array}\right)+1\times \left(\begin{array}{c}1\\ 1\\ 1\end{array}\right)+2\times \left(\begin{array}{c}3\\ 4\\ 3\end{array}\right)$$
有了矩阵乘以列向量的乘法，那么矩阵乘以矩阵，无非是将左边矩阵依次乘以右边的矩阵的每一列。那么矩阵乘以矩阵有什么几何意义呢？请参考矩阵秩的几何意义。

二、直观理解$Ax=b$是否有解

1. 线性组合理解非齐次线性方程解情况

在书中通过判断$R(A)$与$R(A，b)$的关系来判断解的情况，我们可以这样直观理解，矩阵 $A$ 按列展开
$$\begin{gathered} A_{m,n}=({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_n) \\ Ax=x_1{a}_1+x_2{a}_2+...+x_n{a}_n=b \end{gathered}$$
如果 $b$ 恰好落在由${\alpha }_1,{\alpha }_2,\dots ,{\alpha }_n$ 生成的空间中，那么必定存在 $x_1,\dots ,x_n$ 能够把 $b$ 线性表出，$$\xi =(x_1,\dots ,x_n{)}^T$$ 就是$Ax=b$的解。

2.举例说明

• 二维情况
  $Ax=b$，其中$$A=\left(\begin{array}{cc}1& 2\\ 1& 2\end{array}\right)b=\left(\begin{array}{c}1\\ 2\end{array}\right)$$
  这里我们说$Ax=b$无解
  $$Ax=x_1\left(\begin{array}{c}1\\ 1\end{array}\right)+x_2\left(\begin{array}{c}2\\ 2\end{array}\right)$$
  因为$Ax$张成的空间是一条$y=x$的直线，只要$b$向量没有恰好落在直线$y=x$上，那么方程就无解。如果$c=(3,3{)}^T$，那么很幸运，向量 $c$ 刚好落在由 $Ax$ 张成的空间中，有解。

二、