最小二乘法

第一种解读：

最小二乘法，也叫最小平方法，在古汉语中“平方”称为“二乘”，“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。（记得赟哥解释过，这个方法起源于日本，就直接拿过来用了，其实最小平方法更好理解一点）

最小二乘作为一种损失函数，也用做曲线拟合（曲线拟合求参数也是利用最小化平方的方法，其实也是作为一种损失函数，两个作用可以认为是一致的）

在直线的 y = ax + b中，通过给定的几个点（x1, y1）, （x2, y2）, （x3, y3）然后求出参数 (a, b), 根据给出的点列出方程组,然后令： 

然后使 S(a,b) 最小化, 对a 和 b 分别求偏导，令其等于0， 求得a 和 b 的估计值。

第二种解读：

对于函数，它的损失函数为：

也即：

对于矩阵形式