【数学】从线代的角度看最小二乘法拟合直线

自己的数学基础实在是捉急，尤其是线代这块，本科学习线代时都只是死记硬背计算方法，完全没有理解它背后的几何物理意义。后闻MIT Dr.Strange的线代公开课口碑很好，所以花了一段时间把它刷完了，理清了很多疑惑，又引出了很多疑惑。

印象比较深的是矩阵在最小二乘法进行直线拟合中的应用。假设场景：在进行某一个实验时，得到了若干组（x,y）形式的数据，它们在坐标轴上的分布是接近线性的（即差不多都处在一条直线上），那么如何找到这条最合适的直线方程以进行后续的判断？这时候就需要使用到矩阵的知识。

在上述场景中，假设获取到了三个点的数据：（1，1）（2，2）（3，2）；显然，它们的变化趋势很接近一条直线但肯定是无法直接求出这条直线的方程的。

不妨先假设：y=cx+d；建立线性方程组：
c+d=1
c+2d=2
c+3d=2
该方程组无解，从线性代数的角度分析：提取出系数矩阵
|1 1|
|1 2|
|1 3|（编辑器用的不好请见谅）
在线性代数的角度看，上述线性方程组的本质是观察等号右侧的向量是否可以由系数矩阵的列向量表示，即右侧向量是否处于系数矩阵的列空间中？很明显，列空间的维数是2，几何意义是三维空间中的一个平面，所以三维空间中会有非常多的向量不在这个平面内。

那么如何求得一个最接近的解？

这里就要用到投影的原理。右侧向量不在列空间中，就找一个平面内最接近该向量的向量代替它求得直线方程。由此求得的cd将是拟合出的最优直线。