最小二乘法的最简单的几何解释，非常直观！

最小二乘法就是解一个无解的线性方程组

要找到解，就要找到a1,a2的一个线性组合，使得组合后的向量刚好等于b。可惜的是任何的a1和a2线性组合，只可能出现在a1,a2所在的平面S上（这个平面S就是传说中的向量空间），但是向量b不在平面S上，如下图。不可能找到解，怎么办呢？

无解 —>解出一个最接近的解

找不到完美的解，就只能找到一个最接近的解。所以我们想在平面S上找一个最接近向量b的向量来代替向量b，记这个替代品向量为P。就是过向量b的终点做平面S 的垂线（也就是做投影），垂足就是代替向量P的终点。P与b之间的误差e=b−P。

原文https://blog.csdn.net/macer3/article/details/48394239/