数值计算方法第五章—曲线拟合的最小二乘法

曲线拟合的最小二乘法

本文参考书为马东升著《数值计算方法》

最小二乘法

与插值法的区别：只需“逼近” $f(x)$ ，而不用满足插值原则（即经过插值节点）

最小二乘原理

设 $y=f(x)$ 在区间 $[a,b]$ 上有定义，求 $\phi (x)$ ，使得 $\phi (x_i)$ 与 $f(x_i)$ 的误差或者距离最小

• 1-范数意义下的误差

  $R_1=\sum _{i=1}^n|\phi (x_i)-y_i|$

• $\infty$-范数意义下的误差

  $R_{\infty }=\underset{1\le i\le n}{\max }|\phi (x_i)-y_i|$

• 2-范数意义下的误差（均方误差）

  $R_2^2=\sum _{i=1}^n(\phi (x_i)-y_i{)}^2$

  按均方误差达到极小构造拟合曲线的方法称为最小二乘法

• 正则方程组

  系数矩阵为对称矩阵的方程组，称为正则方程组或法方程组

直线拟合

设已知数据点 $(x_i,y_i)$ 分布大致为直线，构造拟合直线 $y=a+bx$ ，则需使残差平方和
$$\sum _{i=1}^m[y_i-(a+b{x}_i){]}^2$$
为最小

计算时正则方程组为
$$\left(\begin{array}{cc}\sum _{i=1}^{m}1& \sum _{i=1}^m{x}_i\\ \sum _{i=1}^m{x}_i& \sum _{i=1}^m{x}_i^2\end{array}\right)\left(\begin{array}{c}a\\ b\end{array}\right)=\left(\begin{array}{c}\sum _{i=1}^m{y}_i\\ \sum _{i=1}^m{x}_i{y}_i\end{array}\right)$$
如果有权值 ${\omega }_i$ ，则在每一项乘以 ${\omega }_i$ 即可，如下
( ∑ i = 1 m ω i ∑ i = 1 m ω i x i ∑ i = 1 m ω i x i ∑ i = 1 m ω i x i 2 ) ( a b ) = ( ∑ i = 1 m ω i y i