ker矩阵是什么意思_矩阵形式下的最小二乘法推导

最常用的是普通最小二乘法（Ordinary Least Square，OLS）：所选择的回归函数应该使所有观察值的残差平方和达到最小。

在拟合函数时，先假定函数的通用表达式。这里以最简单的一次函数为例。若 横坐标（自变量）为

，观测值

，

假设为：

则估计值

使得残差和

最小，表达式如下:

现在需要求

的值。

取何值时，残差和

最小呢？

由于残差和的表达式是二次函数，因此分别对

求偏导，使其等于0时，得到残差和

的最小值。

整理后得

这里有详细推导

在一次函数的情况下，函数拟合需要计算两个未知量。但若将一次函数推广到高阶函数，上述手工计算函数的未知系数未免太繁杂，需要一个统一的公式使得计算机能够帮助我们完成这部分任务。

在高阶函数下

同理我们还是有

个自变量

和观测值

和，不妨将上式写成矩阵形式。

上述矩阵方程记为

观测值

写为向量的形式，记为

同样，使得残差的平方和最小

将上式右半部展开，得：

由于上式中间两项互为转置关系，而相乘的结果是一个标量，原矩阵与其转置相同。

可以对上式的

求偏导，使其偏导数为0即可得到最小残差和平方

其中第二项为一次项，矩阵导数和标量的导数相同，第三项为常数项不参与求导，直接去掉。故上式化简为：

根据矩阵的求导法则:

故

因此残差平方

和对各阶系数

的偏导写为：

化简后，我们得到高阶函数各项系数的最优取值