已知数据点$p_i(x_i, y_i), i = 1, 2, ..., n$,求近似曲线$g(x, y)$, 使得近似曲线与$f(x, y)$的偏差最小。(为了使计算简单,以$f(x, y)-g(x, y)$的平方和最小作为目标函数。)
多项式拟合
设待拟合多项式为:$y = g(x)=a_0+{a_1}x^1+{a_2}x^2+...+{a_k}x^k$,那么数据集中各点到拟合曲线对应点的偏差平方和为:
$R^2 = \sum_{i=1}^{n}[y_i - (a_0+{a_1}x_i^1+{a_2}x_i^2+...+{a_k}x_i^k)]^2$
将上式分别对$a_i$求偏导,并令其偏导数等于0,可得:
对上式进行化简,可得:
将上述方程组表示成矩阵的形式有:
将上式用矩阵和向量表示为:
$X{\times}A = Y$
该式的最小二乘解为对多项式系数的估计。