通过投影矩阵推导最小二乘法

最小二乘用于参数拟合，说它是统计中最重要的公式都不为过，其线性推导如下。

对于一个公式，其中A为已知数据组成的列空间，x为待估计参数，b是x的线性组合。然而，在很多情况下，由于误差或其它原因，使得b不再A的列空间中，这会造成方程无解。于是必须将b投影到A的列空间。其投影的误差为, 其中“x帽"为当b投影到A的列空间后的估计参数，当的值最小时矩阵e应该位于与A垂直的空间的列空间（这里画几条线段就很好理解），所以有。将式子展开后有，所以参数求解的最小二乘公式为：