工程数学 计算方法 第四章 插值与曲线拟合方法 最小二乘法

最小二乘法

线性拟合/只含最高次项和常数项的拟合

求曲线拟合时，若：

1. 数值点很多；
2. yi本身时测量值，不准确

此时没必要拟合使得$P(x_i)=y_i$，只需要使$P(x_i)-y_i$，尽可能小即可。

如何判断“尽可能小”？如何衡量大小？

类似范数。

无穷范数，求最大值最小：太复杂；
1-范数，绝对值求和：不可导，求解困难；
2-范数，平方和最小，可导，可行。

给定数据点$(x_i,y_i),i=1,2,...,m$。设拟合曲线为$p(x)=a+b{x}^n$，显然$p(x_i)=a+b{x}_i^n\ne y_i$ 。记 $e_i=p(x_i)-y_i$ 称 $e_1,e_2,...,e_m$ 为残差。
$$\begin{gathered} e_1,e_2,...,e_m总体最小\iff e=(e_1,e_2,...,e_m{)}^T的长度最小 \\ \begin{array}{rl}Q(a,b)& =\Vert e{\Vert }_2^2\\ & =e_1^2+e_2^2+...+e_m^2\\ & =\sum _{i=1}^m(p(x_i)-y_i{)}^2\\ & =\sum _{i=1}^m(a+b{x}_i^n-y_i{)}^2\\ & =min\end{array} \end{gathered}$$
求拟合曲线即求min取最小时的(a,b)的值。

求最小：求偏导
$$\{\begin{array}{r}\frac{\partial Q}{\partial a}=0\\ \\ \frac{\partial Q}{\partial b}=0\end{array}⟺\{\begin{array}{rl}ma+b\sum _{i=1}^m{x}_i^n& =\sum _{i=1}^m{y}_i\\ & \\ a\sum _{i=1}^m{x}_i^n+b\sum _{i=1}^m{x}_i^{2n}& =\sum _{i=1}^m{x}_i^n{y}_i\end{array}$$
该方程称为正规方程组（法方程），解方程可得a,b。

注意：

1. 正规方程组的解存在且唯一；
2. 正规方程组的解时最小二乘拟合问题的解。

二次拟合

设拟合曲线为$p(x)=a_0+a_{i}x+a_2{x}^2$，求
$$Q(a_0,a_1,a_2)=\sum _{i=1}^m(p(x_i)-y_i{)}^2=\sum _{i=1}^m(a_0+a_i{x}_i+a_2{x}_i^2-y_i{)}^2=min$$
求偏导解方程即可。可用矩阵的形式写：
$$\left(\begin{array}{ccc}m& {\sum }_{i=1}^m{x}_i& {\sum }_{i=1}^m{x}_i^2\\ {\sum }_{i=1}^m{x}_i& {\sum }_{i=1}^m{x}_i^2& {\sum }_{i=1}^m{x}_i^3\\ {\sum }_{i=1}^m{x}_i^2& {\sum }_{i=1}^m{x}_i^3& {\sum }_{i=1}^m{x}_i^4\end{array}\right)\left(\begin{array}{c}{a}_0\\ a_1\\ a_2\end{array}\right)=\left(\begin{array}{c}{\sum }_{i=1}^m{y}_i\\ {\sum }_{i=1}^m{x}_i{y}_i\\ {\sum }_{i=1}^m{x}_i^2{y}_i\end{array}\right)$$

应用：解矛盾方程

懒写了。

秩(A,b)不等于秩(A)时方程组无解，称为矛盾方程。

求均方误差$min\Vert Ax-b{\Vert }_2^2$极小意义下的解，即最小二乘意义下的矛盾方程的解。

大体就是右边移到左边，左边求平方和为Q，求Q最小时的值。

推导可得法方程为$A^{T}AX=A^{T}b$ 。

应试

线性拟合/二次拟合。

eg：给数值点和拟合曲线的形式$p(x)=a+b{x}^n$，求拟合的a，b：

解题过程：$Q(a,b)={\sum }_{i=1}^m(p(x_i)-y_i{)}^2={\sum }_{i=1}^m(a+b{x}_i^n-y_i{)}^2$， 求偏导解方程。
一般过程写为矩阵形式（其实好像无所谓，我就不会写矩阵形式，写方程形式一样的，反正最后都是要写方差解系数的）。
（拟合二次和常数项，题不抄了，看解题步骤就好）
解：由数据可得法方程为
$$\left(\begin{array}{cc}5& 5072\\ 5072& 6355364\end{array}\right)\left(\begin{array}{c}a\\ b\end{array}\right)=\left(\begin{array}{c}271.4\\ 344382.5\end{array}\right)$$
即
$$\{\begin{array}{c}5a+5072b=271.4\\ 5072a+6355364b=344382.5\end{array}$$
解得
$$\{\begin{array}{c}a=-3.612\\ b=0.057\end{array}$$
所以拟合曲线为
$$p(x)=-3.612+0.057x^2$$

其实我也不知道第一步的法方程是怎么得到的，我是直接算出方程之后改写成第一步的形式的，法方程不写也无所谓的，写偏导之后的那个方程组也可以。

最后一步一定要写出拟合曲线的方程，题目是求拟合曲线的，不是解方程的，不写出来要扣分。