数值计算之 拟合法，线性拟合，多项式拟合

前言

拟合法是另一种由采样数据求取潜在函数的方法。插值要求函数必须经过每一个采样节点，而拟合则要求函数与全部节点之间的距离较小。

线性拟合和多项式拟合是常用的拟合方法。

最小二乘法

既然拟合要求函数全局与采样节点相近，那么需要一个函数与节点之间距离的度量，自然而然的想到函数上的点与节点之间的欧氏距离。假设其中一个节点为$(x_0,y_0)$，拟合函数为$h(x)$，则节点与拟合函数的距离为：
$$\begin{gathered} d(x)=\sqrt{(h(x_0)-y_0{)}^2}=|h(x_0)-y_0| \\ {d}^2(x)=(h(x_0)-y_0{)}^2 \end{gathered}$$
由于带绝对值的公式在求导时很麻烦，因此采用距离的平方简化计算。

多项式拟合

假如使用n次多项式$h(x)=a_0+a_{1}x+\cdots +a_n{x}^n$进行最小二乘拟合，则对于节点$(x_0,y_0),(x_1,y_1),\dots ,(x_n,y_n)$的最小二乘拟合可表示为：
$$\begin{gathered} \underset{a_0,a_1,\dots ,a_n}{\mathrm{argmin}}\sum _{i=0}^n(h(x_i)-y_i{)}^2 \\ =\underset{a_0,a_1,\dots ,a_n}{\mathrm{argmin}}\sum _{i=0}^n(a_0+a_1{x}_i+\cdots +a_n{x}_i^n-y_i{)}^2 \end{gathered}$$
从代数的角度上，上面的方程求解是通过求最小二乘对$a_0,a_1,\dots ,a_n$的偏导，令偏导数为0后的方程组求解。代数求解法比较复杂，因此最小二乘问题常常转换为矩阵问题求解。

多项式拟合的一大特点是，待拟合的节点数可以显著大于多项式的次数，例如可以采用二次多项式拟合五个节点。

当用于拟合的多项式次数较高时，拟合结果容易受到噪声点影响。

线性拟合

如果用于拟合的函数是一条直线$h(x)=ax+b$，就是线性拟合。线性拟合是多项式拟合的特例。

后记

拟合相对插值而言方法比较单一，但涉及到最小二乘，和回归问题等在机器学习中极为重要的方法。后续会新开一个最小二乘法和梯度下降法的专题学习。