最小二乘的矩阵形式

为m×n的矩阵，b为m×1的矩阵，则Ax=b表达了一个线性方程组，它的normal equation的形式为ATAx=ATb。
当Ax=b有解时（即矩阵[A|b]的秩与A的秩相同），Ax=b与ATAx=ATb的解集是一样。
而当Ax=b无解时，ATAx=ATb仍然有解，其解集即最小二乘解（least squares solution），即使得(Ax-b)T(Ax-b)的值最小的解，可以理解为使方程组Ax=b近似成立且误差最小的解。

ATAx=ATb 的解是 Ax=b的最小二乘解 （使Ax=b近似成立而且误差最小的解）
reference: https://blog.csdn.net/datase/article/details/79385565