最小二乘法

假设两个变量x和y，我们猜测它们之间存在线性关系，我们定义为y=kx+b。

理想状态下，只需要两组数据即(x1,y1),(x2,y2)就可以确定k和b。

实际上，观测会存在误差（偶然误差、系统误差等），所以我们总会做多余观测，测量多组数据。

在上述例子中，尽管只有两个参数，但是我们可能会观测n组数据(x1,y1) . . .(xn, yn) 

最小二乘法就是求下面这个函数取得最小值（即L取得最小值）时的函数参数(k和b)

                                            

 所谓“二乘”就是平方的意思，最小二乘法其实就是用来做函数拟合的一种思想。

最小二乘法不仅仅局限于线性。