最小二乘法

出自：https://www.zhihu.com/question/37031188

-------------------------------------------------------

最小二乘法的意思就是，根据给定的很多样本，然后得出这样样本拟合的函数。

1.日常例子：

比如温度与冰淇淋的销量：

如果我们要探究温度与销量之间的关系，要怎么办呢，如下：

把温度和销量画到坐标系上如下图：

我们看上去，像是线性关系，所以我们假设这种线性关系为：

                                                     

x为温度，f(x)为销量。那接下来如何求a和b呢。

我们的思路是：假设蓝色虚线 f(x)是我们要求的。

上图的x，y值得分别为：

所有样本点 yi 与 f(xi)之间的误差表达形式如下：

即所有样本点与 f(x)之间的总误差就可以求出来了。那训练时，我们只需要把这个误差S降到最小就可以了。在S最小时的a，b的值就是我们要求的 f(x)的参数。不同的a，b会导致不同的S，根据微积分知识，当：

时，S取得最小。

把所有样本点带入上面方程，即可解出a，b：

a，b代入

就得到   

 

2. 问题

但是最小二乘法有个前提，就是你要看出来样本像是拟合怎么样的曲线。

例如上面那题，我们是人为假设了曲线拟合是线性方程：

                                                    

但若不上线性方程呢？可不可以是其他？可以。假设我们把他假设成：

                                               

也是可以的。根据最小二乘法，同样的步骤，也是可以求出 a，b，c的，然后出来的图像如下红色曲线：