最常用的是普通最小二乘法(Ordinary Least Square,OLS):所选择的回归函数应该使所有观察值的残差平方和达到最小。
在拟合函数时,先假定函数的通用表达式。这里以最简单的一次函数为例。若 横坐标(自变量)为
,观测值
,
假设为:
则估计值
使得残差和
最小,表达式如下:
现在需要求
的值。
取何值时,残差和
最小呢?
由于残差和的表达式是二次函数,因此分别对
求偏导,使其等于0时,得到残差和
的最小值。
整理后得
这里有详细推导
在一次函数的情况下,函数拟合需要计算两个未知量。但若将一次函数推广到高阶函数,上述手工计算函数的未知系数未免太繁杂,需要一个统一的公式使得计算机能够帮助我们完成这部分任务。
在高阶函数下
同理我们还是有
个自变量
和观测值
和,不妨将上式写成矩阵形式。
上述矩阵方程记为
观测值
写为向量的形式,记为
同样,使得残差的平方和最小
将上式右半部展开,得:
由于上式中间两项互为转置关系,而相乘的结果是一个标量,原矩阵与其转置相同。
可以对上式的
求偏导,使其偏导数为0即可得到最小残差和平方
其中第二项为一次项,矩阵导数和标量的导数相同,第三项为常数项不参与求导,直接去掉。故上式化简为:
根据矩阵的求导法则:
故
因此残差平方
和对各阶系数
的偏导写为:
化简后,我们得到高阶函数各项系数的最优取值