最常用的是普通最小二乘法(Ordinary Least Square,OLS):所选择的回归函数应该使所有观察值的残差平方和达到最小。
在拟合函数时,先假定函数的通用表达式。这里以最简单的一次函数为例。若 横坐标(自变量)为
则估计值
使得残差和
现在需要求
由于残差和的表达式是二次函数,因此分别对
整理后得
这里有详细推导
在一次函数的情况下,函数拟合需要计算两个未知量。但若将一次函数推广到高阶函数,上述手工计算函数的未知系数未免太繁杂,需要一个统一的公式使得计算机能够帮助我们完成这部分任务。
在高阶函数下
同理我们还是有
上述矩阵方程记为
观测值
同样,使得残差的平方和最小
将上式右半部展开,得:
由于上式中间两项互为转置关系,而相乘的结果是一个标量,原矩阵与其转置相同。
可以对上式的
其中第二项为一次项,矩阵导数和标量的导数相同,第三项为常数项不参与求导,直接去掉。故上式化简为:
根据矩阵的求导法则:
故
因此残差平方
化简后,我们得到高阶函数各项系数的最优取值