数值计算方法 Chapter3. 曲线拟合的最小二乘法

• 数值计算方法 Chapter3. 曲线拟合的最小二乘法
  • 1. 线性拟合和二次拟合函数
    • 1. 线性拟合
    • 2. 二次拟合函数
    • 3. $a\cdot e^{bx}$型函数
  • 2. 解矛盾方程组

1. 线性拟合和二次拟合函数

最小二乘法本质上就是求一个事先定义一个函数，然后使用已知的采样点结果拟合函数的参数，使得所有采样点的均方误差最小。

即：

$$\phi (x)=argmin\sum _i|\phi (x_i)-y_i{|}^2$$

1. 线性拟合

我们假定拟合曲线为：

$$\phi (x)=ax+b$$

则有拟合误差为：

$$Q=\sum _i(a{x}_i+b-y_i{)}^2$$

要使得拟合误差$Q$最小，则我们有$Q$对于参数$a,b$的偏导均为0，因此，我们即有：

$$\{\begin{array}{rl}\frac{\partial Q}{\partial a}& =\sum _{i}2x_i(a{x}_i+b-y_i)=0\\ \frac{\partial Q}{\partial b}& =\sum _{i}2(a{x}_i+b-y_i)=0\end{array}$$

可以解得：

$$\{\begin{array}{rl}a& =\frac{n\cdot {\sum }_i{x}_i{y}_i-({\sum }_i{x}_i)({\sum }_i{y}_i)}{n\cdot {\sum }_i{x}_i^2-({\sum }_i{x}_i{)}^2}\\ b& =\frac{1}{n}\sum _i{y}_i-\frac{1}{n}(\sum _i{x}_i)\cdot a\end{array}$$

2. 二次拟合函数

类似的，我们可以得到二次拟合函数的最小二乘法的结果。

定义拟合函数为：

$$\phi (x)=a{x}^2+bx+c$$

则有拟合误差：

$$Q=\sum _i(a{x}_i^2+b{x}_i+c{)}^2$$

同样，我们可以解得，在极值条件下，有：

$$\{\begin{array}{rl}\frac{\partial Q}{\partial a}& =\sum _{i}2x_i^2(a{x}_i^2+b{x}_i+c-y_i)=0\\ \frac{\partial Q}{\partial b}& =\sum _{i}2x_i(a{x}_i^2+b{x}_i+c-y_i)=0\\ \frac{\partial Q}{\partial c}& =\sum _{i}2(a{x}_i^2+b{x}_i+c-y_i)=0\end{array}$$

亦即：

$$\left(\begin{array}{ccc}{\sum }_i{x}_i^4& {\sum }_i{x}_i^3& {\sum }_i{x}_i^2\\ {\sum }_i{x}_i^3& {\sum }_i{x}_i^2& {\sum }_i{x}_i\\ {\sum }_i{x}_i^2& {\sum }_i{x}_i& n\end{array}\right)\left(\begin{array}{c}a\\ b\\ c\end{array}\right)=\left(\begin{array}{c}{\sum }_i{x}_i^2{y}_i\\ {\sum }_i{x}_i{y}_i\\ {\sum }_i{y}_i\end{array}\right)$$

可解得：

$$\left(\begin{array}{c}a\\ b\\ c\end{array}\right)={\left(\begin{array}{ccc}{\sum }_i{x}_i^4& {\sum }_i{x}_i^3& {\sum }_i{x}_i^2\\ {\sum }_i{x}_i^3& {\sum }_i{x}_i^2& {\sum }_i{x}_i\\ {\sum }_i{x}_i^2& {\sum }_i{x}_i& n\end{array}\right)}^{-1}\cdot \left(\begin{array}{c}{\sum }_i{x}_i^2{y}_i\\ {\sum }_i{x}_i{y}_i\\ {\sum }_i{y}_i\end{array}\right)$$

类似的也可以推至n阶的情况，这里就不一一展开了。

3. $a\cdot e^{bx}$型函数

形如$a\cdot e^{bx}$的函数直接用最小二乘法倒是没法直接求解，不过可以通过一定的函数变换转换成$n$阶函数形式，然后我们就可以仿照上述方式进行求解了。

比如这里的$a\cdot e^{bx}$类型的函数，我们做函数变换，令$z=ln(y)$，则有：

$$z=bx+ln(a)$$

即可使用最小二乘法进行求解。

类似的，还可以有函数$y=\frac{1}{ax+b}$，我们令$z=\frac{1}{y}$，即可有：

$$z=ax+b$$

2. 解矛盾方程组

书中这一小节事实上就是给前面最小二乘法的内容提供一些理论上的支持，没有啥更多的内容，因此，我们仅在这里摘录书中的定理如下：

定理3.1
(1) $A$为$m$行$n$列的矩阵，$b$为列向量，$A^{T}AX=A^{T}b$称为矛盾方程组$AX=b$的法方程，法方程恒有解。
(2) $X$是$min||AX-b|{|}_2^2$的解，当且仅当$X$满足$A^{T}AX=A^{T}b$，即$X$是法方程的解。