用线性代数里投影矩阵解最小二乘

向量b，在列空间A中的投影是 x = b。投影矩阵就是。这个投影距离也很好玩。

投影的长度与A无关（A扩大2倍，/ 的除数和被除数都相应的扩大了4倍。），A是决定方向的。 b可以决定长度，当然，也包括方向。

 

最小二乘就是给定一组向量输入数据A，和，对应的输出b。  由于A是观测数据，所以，给出一大堆，根据这一堆去求b，

实际上是求不出来的，列向量的个数小于行向量。或者，有无穷多解。  列向量大于行向量。

再说的绕一点就是，b，无法用A线性表示。再说的理论一点，就是b不在A的列空间中。

 

二乘的目的是，拟合一个线性参数(y=C+Dx，需要拟合的就是C 和 D，也就是Ax=b，x就是c和D)，使得这个拟合结果与各个观测的结果（也就是）的差最小。

既然b无法用A线性表示，就说明 C和D是无法解出的。  

 

为了令C和D可以解出，就要找到一个可以用A线性表示的空间里的拟合向量b_nihe来代表b，这个拟合向量应该距离b的距离是最短的。于是，这个A空间中的向量就应该是b到A这个空间的投影，这个应该很容易想象，画个三角形的图，只有b_nihe是b的投影，b_nihe-b才是最短的。

 

于是，b_nihe = （投影矩阵）b。 

于是，Ax=b，就转换为 b_nihe = （投影矩阵）b，b_nihe是在A的空间里的，此时，x，也就是(C和D)是有解的。

Ax = b_nihe =>  Ax = b => x = b 。得到解

这种情况下，解出的x，也就是c和d，就是我们想要的，也就是根据A求出的，距离b最近的结果。

 

网上大部分的讲解都到此为止。  我一直有个不太懂的地方，最小二乘如果不是误差(观察结果-拟合的结果)的平方，而是三次方，四次方，这么解还对吗？  这尼玛不是蒙出来的吗？

 

投影矩阵为啥是这个鸟样子。根据向量垂直的特性推到出来的，两个向量x和y垂直，则x1*y1 + x2*y2 + .. xnyn = 0

至于为啥有这个很美的特性，根据勾股定理就可以推导出来。 勾股定理恰恰是平方。也就是欧氏距离。  所以，我觉得这里是可以推广的。如果是广义的测地距呢？？？？