出自:https://www.zhihu.com/question/37031188
-------------------------------------------------------
最小二乘法的意思就是,根据给定的很多样本,然后得出这样样本拟合的函数。
1.日常例子:
比如温度与冰淇淋的销量:
如果我们要探究温度与销量之间的关系,要怎么办呢,如下:
把温度和销量画到坐标系上如下图:
我们看上去,像是线性关系,所以我们假设这种线性关系为:
x为温度,f(x)为销量。那接下来如何求a和b呢。
我们的思路是:假设蓝色虚线 f(x)是我们要求的。
上图的x,y值得分别为:
所有样本点 yi 与 f(xi)之间的误差表达形式如下:
即所有样本点与 f(x)之间的总误差就可以求出来了。那训练时,我们只需要把这个误差S降到最小就可以了。在S最小时的a,b的值就是我们要求的 f(x)的参数。不同的a,b会导致不同的S,根据微积分知识,当:
时,S取得最小。
把所有样本点带入上面方程,即可解出a,b:
a,b代入
就得到
2. 问题
但是最小二乘法有个前提,就是你要看出来样本像是拟合怎么样的曲线。
例如上面那题,我们是人为假设了曲线拟合是线性方程:
但若不上线性方程呢?可不可以是其他?可以。假设我们把他假设成:
也是可以的。根据最小二乘法,同样的步骤,也是可以求出 a,b,c的,然后出来的图像如下红色曲线: