从零开始的数模学习（8）：拟合方法（预测模型）

1 曲线拟合的线性最小二乘法

1.1 线性最小二乘法

曲线拟合问题的提法是，已知一组（二维）数据，即平面上的$n$个点$(x_i,y_i),i=1,2,\cdots ,n$，x_{i}互不相同，寻求一个函数（曲线）$y=f(x)$，使$f(x)$，在某种准则下与所有的数据点最为接近，即曲线拟合得最好。
线性最小二乘法是解决曲线拟合最常用的方法，基本思路是，令 $$f(x)=a_i{r}_1(x)+a_2{r}_2(x)+\cdots +a_m{r}_m(x)$$，其中$r_k(x)$是实现选定的一组线性无关的函数，$a_k$是待定系数$(k=1,2,\cdots ,m,m<n)$。拟合准则是使$y_i，i=1,2,\cdots ,n$与$f(x_i)$的距离${\delta }_i$的平方和最小，称为最小二乘准则。

1.1.1 系数$a_k$的确定

记$$J\left(a_1,\cdots ,a_m\right)=\sum _{i=1}^n{\delta }_i^2=\sum _{i=1}^n{\left[f\left(x_i\right)-y_i\right]}^2$$为求$a_1,\cdots ,a_m$使得$J$达到最小，只需要利用极值的必要条件$\frac{\partial \mathbf{J}}{\partial {\mathbf{a}}_j}=0(\mathbf{j}=1,\cdots ,\mathbf{m})$，得到关于$a_1,\cdots ,a_m$的线性方程式$$\sum _{i=1}^n{r}_j\left(x_i\right)\left[\sum _{k=1}^m{a}_k{r}_k\left(x_i\right)-y_i\right]=0,(j=1,\cdots ,m),$$
记$$\begin{array}{rl}R& ={\left[\begin{array}{ccc}{r}_1\left(x_1\right)& \cdots & r_m\left(x_1\right)\\ ⋮& ⋮& ⋮\\ r_1\left(x_n\right)& \cdots & r_m\left(x_n\right)\end{array}\right]}_{n\times m},\\ A& ={\left[a_1,\cdots ,a_m\right]}^T,Y={\left[y_1,\cdots ,y_n\right]}^T,\end{array}$$
上面的方程组可以表示为$${\mathbf{R}}^T\mathbf{R}\mathbf{A}={\mathbf{R}}^T\mathbf{Y}$$
当 { r 1 ( x ) , ⋯   , r m ( x ) } \left\{r_{1}(x), \cdots, r_{m}(x)\right\} {r1​(x),⋯,rm​(x)}线性无关时，R列满秩，$R^{T}R$可逆，于是上面的方程组有唯一解$$A={\left(R^{T}R\right)}^{-1}{R}^{T}Y$$

1.1.2 函数$r_k(x)$的选取

面对一组数据$(x_i,y_i),i=1,2,\cdots ,n$，用线性最小二乘法做曲线拟合时，首要的也是关键的一步是恰当地选取$r_1(x),\cdots ,r_m(x)$。如果通过机理分析，能够知道$y$与$x$之间应该有什么样的函数关系，则$r_1(x),\cdots ,r_m(x)$容易确定。若无法知道$y$和$x$之间的关系，通常可以将数据$\left(x_i,y_i\right),i=1,2,\cdots ,n$作图，直观地判断应该用什么样的曲线去作拟合。
人们常用的曲线有
(1) 直线 $y=a_{1}x+a_2;$
(2) 多项式 $y=a_1{x}^m+\cdots +a_{m}x+a_{m+1}(一般m=2,3,不宜太高）;$
(3) 双曲线 (一支) $y=\frac{a_1}{x}+a_2;$
(4) 指数曲线 $y=a_1{e}^{a_{2}x}$。
对于指数曲线，拟合前需做变量代换，化为对$a_1$，$a_2$的线性函数。
已知一组数据，用什么样的曲线拟合最好，可以在直观判断的基础上，选几种曲线分别拟合，然后比较，看哪一条曲线的最小二乘指标$J$最小。

2 最小二乘法的Matlab实现

2.1 解方程组方法

在上面的记号下，$$J\left(a_1,\cdots ,a_m\right)=\Vert RA-Y{\Vert }^2$$
Matlab中线性最小二乘的标准型为$${\mathrm{Min}}_A\Vert RA-Y{\Vert }_2^2$$
命令为 $$A=R\backslash Y$$

2.2 多项式拟合方法

如果取 { r 1 ( x ) , ⋯   , r m + 1 ( x ) } = { 1 , x , ⋯   , x m } \left\{r_{1}(x), \cdots, r_{m+1}(x)\right\}=\left\{1, x, \cdots, x^{m}\right\} {r1​(x),⋯,rm+1​(x)}={1,x,⋯,xm}，即用$m$次多项式拟合给定数据，Matlab中有现成的函数$a=\text{ polyfit }(x0,y0,m)$其中输入参数$x0,y0$为要拟合的数据，$m$为拟合多项式的次数，输出参数$a$为拟合多项式$y=a(1)x^m+\dots +a(m)x+a(m+1)$的系数向量$a=[a(1),\dots ,a(m),a(m+1)]$。
多项式在$x$处的值$y$可用下面的函数计算$y=\text{ polyval }(a,x{)}_{\text{o }}$

2.3 最小二乘优化

在无约束最优化问题中，有些重要的特殊情形，比如目标函数有若干个函数的平方和构成。这一类函数一般可以写成$$F(x)=\sum _{i=1}^m{f}_i^2(x),x\in R^n$$
其中$x={\left[x_1,\cdots ,x_n\right]}^T$，一般假设$m\ge n$。把极小化这类函数的问题$$\min F(x)=\sum _{i=1}^m{f}_i^2(x)$$
称为最小二乘化问题。
最小二乘化是一类比较特殊的优化问题，在处理这类问题时，Matlab也提供了一些强大的函数。在Matlab优化工具箱中，由于求解最小二乘化优化问题的函数有lsqlin、lsqcurvefit、lsqnonlin、lsqnonneg，下面介绍这些函数的用法。

2.3.1 lsqcurvefit函数

给定输入输出数列xdata，ydata，求参量x，使得$$\underset{x}{\min }\Vert F(x,xdata)-ydata{\Vert }_2^2=\sum _i{\left(F\left(x,xdat{a}_i\right)-yda{a}_i\right)}^2$$
Matlab中的函数为$$x=\text{ lsqcurvefit(fun, }x0,xdata,ydata,lb,ub,options)$$
其中$fun$是定义函数$F(x,xdata)$的M文件。

2.3.2 lsqnonlin 函数

已知函数向量$F(x)={\left[f_1,\cdots ,f_k\right]}^T$，求x使得$$min{\Vert F(x)\Vert }_2^2$$
Matlab中的函数为$$x=lsqnonlin(fun,x0,lb,ub,options)$$
其中$fun$是定义向量函数$F(x)$的$M$文件。

2.3.3 lsqnonneg 函数

求解非负的$x$，使得满足$min{\Vert Cx-d\Vert }_2^2$,Matlab中此函数的基本调用格式为$$x=lsqnonneg(C,d)$$。