数值分析(9)-最小二乘法

整理一下数值分析的笔记~
目录：

1. 误差

2. 多项式插值与样条插值

3. 函数逼近(THIS)

4. 数值积分与数值微分

5. 线性方程组的直接解法

6. 线性方程组的迭代解法

7. 非线性方程求根

8. 特征值和特征向量的计算

9. 常微分方程初值问题的数值解

---

1. 基本概念

令${\delta }_i=y(x_i)-y_i$在回归分析中称为残差，一般使用$||\delta |{|}_2^2={\sum }_{i=0}^m{\delta }_i^2={\sum }_{i=0}^m(y(x_i)-y_i{)}^2$作为衡量标准称为平方误差，回归分析中称为残差平方和。

在函数类$\phi$中选取一个函数$S^{\ast }(x)$，计算如下：

$$\begin{gathered} S^{\ast }(x)=\sum _{j=0}^n{a}_j{\phi }_j(x)=a_0^{\ast }{\phi }_0(x)+...+a_n^{\ast }{\phi }_n(x) \\ ||{\delta }^{\ast }|{|}_2^2=\sum _{i=0}^m(S^{\ast }(x_i)-y_i{)}^2=mi{n}_{S(x)\in \phi }(S(x_i)-y_i{)}^2, \\ 其中S(x)=\sum _{j=0}^m{a}_j{\phi }_j(x)为\phi 中的任意函数。 \end{gathered}$$

称$S^{\ast }(x)={\sum }_{j=0}^n{a}_j^{\ast }{\phi }_j(x)$为最小二乘解；

称$S(x)={\sum }_{j=0}^n{a}_j{\phi }_j(x)$为拟合函数；

称$a_j(j=0,1,...,n)$为拟合系数；

称$||{\delta }^{\ast }|{|}_2^2$为最小二乘解的平方误差。

确定拟合函数后如何确定拟合系数？

2. 法方程组

如何求任意方程组$A_{m\times n}x=b$的最小二乘解？

记$\bar{x}$是最小二乘解则满足$(b-A\bar{x})\perp${$Ax,x\in R^n$}，则$(Ax{)}^T(b-A\bar{x})=0，x\in R^n$，推出$x^T(A^{T}b-A^{T}A\bar{x})=0，x\in R^n$，可得$A^{T}A\bar{x}=A^{T}b$，称为法方程，也称正规方程，它的解就是最小二乘解。

例：

$$求解不相容方程组\left(\begin{array}{cc}1& 1\\ 1& -1\\ 1& 1\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=\left(\begin{array}{c}2\\ 1\\ 3\end{array}\right)$$

解：由$A^{T}A\bar{x}=A^{T}b$得法方程：
$$\left(\begin{array}{ccc}1& 1& 1\\ 1& -1& 1\end{array}\right)\left(\begin{array}{cc}1& 1\\ 1& -1\\ 1& 1\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)\left(\begin{array}{ccc}1& 1& 1\\ 1& -1& 1\end{array}\right)\left(\begin{array}{c}2\\ 1\\ 3\end{array}\right)$$

解得

$$\begin{gathered} \left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=\left(\begin{array}{c}7/4\\ 3/4\end{array}\right) \\ r=b-A\bar{x}=\left(\begin{array}{c}2\\ 1\\ 3\end{array}\right)-\left(\begin{array}{cc}1& 1\\ 1& -1\\ 1& 1\end{array}\right)\left(\begin{array}{c}7/4\\ 3/4\end{array}\right)=\left(\begin{array}{c}-0.5\\ 0\\ 0.5\end{array}\right) \\ ||r|{|}_2=\sqrt{0.5^2+0^2+0.5^2}=0.707 \end{gathered}$$

例：找出可以最优拟合点集(1,2),(-1,1),(1,3)的直线。

解：将点(1,2),(-1,1),(1,3)代入直线$y=c_1+c_{2}x$中有：

$$\begin{gathered} \{\begin{array}{l}{c}_1+c_2=2\\ c_1-c_2=1\\ c_1+c_2=3\end{array},\left(\begin{array}{cc}1& 1\\ 1& -1\\ 1& 1\end{array}\right)\left(\begin{array}{c}{c}_1\\ c_2\end{array}\right)=\left(\begin{array}{c}2\\ 1\\ 3\end{array}\right), \\ 由公式A^{T}A\bar{x}=A^{T}b得法方程，求解得不相容方程， \\ 得直线y=\frac{7}{4}+\frac{3}{4} \end{gathered}$$

---

{持续更新}
欢迎扫描二维码关注微信公众号 深度学习与数学   [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读，算法和其他互联网技能的学习，概率论、线性代数等高等数学知识的回顾]