模型拟合的解析方法

上一篇我们讨论的是,将曲线转化为直线,然后求斜率的截距来获得参数的具体值,但是在很多情况下,曲线并不一定能够转化为直线,或者转化之后在运算中会损失相当的数据,使得模型不再准确.
因此,在这一篇,我们将提供三种数学方法来对曲线进行拟合,找出最合适的参数.每一个准则都提供了不同的方法,让我们能够从一族数据中挖掘出我们想要的曲线.

切比雪夫近似准则

我们给定模型的函数关系 $y = f(x)$ 和m个数据点$(x_i, y_i)$ 的集合,对整个集合极小化最大绝对偏差$|y_i - f(x_i)|$ ,即确定模型的函数类型$y = f(x)$的参数从而极小化数量

$$\max |y_i - f(x_i)| i = 1,2\dots m$$
如果令 $r_i = |y_i - f(x_i)|$ ,使用切比雪夫近似准则,我们依次可以得到 $r_1, r_2, r_3 \cdots$ ,我们称其为 残值, 之后我们获取这些绝对偏差的绝对值 $|r_1|, |r_2|, |r_3|\cdots$,令其最大者为
$$\max R$$
那么我们可以获得其约束条件

$|r_1| \leq R$
$|r_2| \leq R$
$|r_3| \leq R$
$\vdots$
$|r_m| \leq R$
这样我们就将问题转化为一个线性规划问题,每一个不等式我们都能替换为两个等式, $R-r_i \ge 0$ 和 $R + r_i \ge 0$ .计算机利用 单纯形法能够快速的找到我们想要的解,即 $R$
当极小化最大绝对偏差很重要的时候,我们就需要使用 切比雪夫近似准则,特别是在用一函数代替一个区间上定义的另一个函数时,我们必须令在该区间上的两个函数的最大差异值达到最小,这时候切比雪夫准则就发挥着巨大的作用.

极小化绝对偏差之和

在我们将曲线转化为直线然后进行拟合数据的时候,默认的就使用了极小化绝对偏差之和.当时我们尽可能的使模型建立的直线接近数据所描绘出的直线,从而得到其解.
我们可以将这一准则概括为: 对于给定的模型函数关系$y = f(x)$ ,以及m个数据点集合 $(x_i, y_i)$ ,我们极小化绝对偏差之和,因此来确定函数类型 $y = f(x)$的参数,即

$$\sum^{m}_{i=1} |y_i - f(x_i)|$$
如果令 $R_i = |y_i - f(x_i)|, i=1, 2 \cdots m$ 代表每一处绝对偏差,那么该准则可解释成将一条由 $R_i$ 构成的直线的长度最小化.
但是在使用其进行计算解决最优化问题的时候,必须对该和式进行求导,从而找到临界点,但是因为有了绝对值,导致该和式的微分并不是连续的,所以我们之后将会介绍数值近似解的技术

最小二乘准则

这是目前最常用也是最为重要的准则,该准则与 极小化绝对偏差之和准则类似同样令 $R_i = |y_i - f(x_i)|, i=1, 2 \cdots m$ , 记:

$$R^2 = \sum^{m}_{i_1} R_i^2 = \sum^{m}_{i=1} |y_i - f(x_i)|^2$$
这时我们可以看出,最小二乘准则的本质上是求向量 $R$ 的最小长度,该向量的坐标代表了实际数据和模型预测数据的绝对偏差

总结

这三个曲线拟合准则能够帮助我们拟合许多模型.三个准则各有自己擅长的地方.

• 切比雪夫近似准则对潜在的有较大偏差的单个数据点更大的权重
• 极小化绝对偏差给予每个数据点相同的权重
• 最小二乘准则是根据与中间某处的远近来进行加权,其厕与单个点具有的显著偏离有关

接下来我们来谈谈切比雪夫近似准则和最小二乘准则他们之间的偏差。
假设我们的模型函数关系为 $y = f(x)$。
首先我们应用切比雪夫近似准则对其进行拟合，产生的绝对偏差为

$$c_i = y_i - f(x_i) i = 1,2 \cdots m$$
现在定义 $c_{max} = \max (c_1, c_2, \cdots, c_m)$ ,运用切比雪夫近似准则对模型进行数据拟合之后， $c_{max}$是我们能够获得的最小极大绝对偏差
同时，我们运用最小二乘准则对该模型进行数据拟合，产生的绝对偏差为
$$d_i = y_i - f(x_i) i = 1,2 \cdots m$$
同时，我们定义 $d_{max} = \max (d_1, d_2, \cdots, d_m)$，对于前面所讨论的 $c_{max}$，现在我们能够迅速得到 $d_{max} \ge c_{max}$
因为最小二乘准则涉及 $d_i$的特殊特征是他们的平方和为我们能够得到的最小值，所以必有以下不等式
$$\sum ^{m}_{i=1}d_i^2 \le \sum ^{m}_{i=1}c_i^2$$
对于任何一个 $i$，都有 $c_i \le c_{max}$，所以我们能够得到
$$\sum ^{m}_{i=1}d_i^2 \le mc_{max}$$
为了方便讨论，我们定义
$$D = \frac {\sqrt{\sum^{m}_{i=1} d_i^2}}m$$
那么我们能够得到
$$D \le c_{max} \le d_{max}$$
这是一个很重要的不等式，如果我们计算 $D$，能够给出$c_{max}$的下界，同时 $d_{max}$是 $c_{max}$的上界，如果发现 $D$和$d_{max}$之间存在着巨大的差异，那么我们在进行拟合的时候，就应该考虑使用切比雪夫近似准则