【数值分析】最小二乘，最佳一致逼近

最小二乘

用于不知道 $f(x)$ 的时候， $[a,b]$ 只有一堆点。
$$\begin{array}{cccccccccc}{x}_1& |& x_2& |& x_3& |& \cdots & |& x_n& |\\ -& -& -& -& -& -& -& -& -& -\\ f(x_1)& |& f(x_2)& |& f(x_3)& |& \cdots & |& f(x_n)& |\end{array}$$
以
$${\varphi }_0=1,{\varphi }_1=x,{\varphi }_2=x^2,{\varphi }_3=x^3,\cdots$$
为例。定义
$$\begin{array}{rl}({\varphi }_0,{\varphi }_0)=& \sum _{i=1}^n{\varphi }_0\times {\varphi }_0=\sum _{i=1}^{n}1\times 1=n\\ ({\varphi }_0,{\varphi }_1)=& \sum _{i=1}^n{\varphi }_0\times {\varphi }_1=\sum _{i=1}^{n}1\times x_i\\ ({\varphi }_1,{\varphi }_2)=& \sum _{i=1}^n{x}_i\times x_i^2\\ ({\varphi }_0,f)=& \sum _{i=1}^{n}1\times f(x_i)\\ ({\varphi }_1,f)=& \sum _{i=1}^n{x}_i\times f(x_i)\\ \cdots & \end{array}$$
求内积要带权函数！
对应的法方程组：
$$\left[\begin{array}{ccc}({\varphi }_0,{\varphi }_0)& ({\varphi }_0,{\varphi }_1)& ({\varphi }_0,{\varphi }_2)\\ ({\varphi }_1,{\varphi }_0)& ({\varphi }_1,{\varphi }_1)& ({\varphi }_1,{\varphi }_2)\\ ({\varphi }_2,{\varphi }_0)& ({\varphi }_2,{\varphi }_1)& ({\varphi }_2,{\varphi }_2)\end{array}\right]\left[\begin{array}{c}a\\ b\\ c\end{array}\right]=\left[\begin{array}{c}({\varphi }_0,f)\\ ({\varphi }_1,f)\\ ({\varphi }_2,f)\end{array}\right]$$
则二次最小二乘法拟合函数为：
$$S^{\ast }(x)=a{\varphi }_0+b{\varphi }_1+c{\varphi }_2$$
均方误差为
$$||\delta |{|}_2=\sqrt{\sum _{i=1}^n\rho (x_i)(f(x_i)-S^{\ast }(x_i){)}^2}$$
最大质误差
$$||\delta |{|}_{\infty }=\max |f(x_i)-S^{\ast }(x_i)|$$
若拟合公式为 $y=a{x}^b$ ，取对数变成 $y^{\prime }=a^{\prime }+b{x}^{\prime }$ 。

[!example]-
已知一组实验数据如下表：
$$\begin{array}{cccccccccccc}{x}_i& ||& 1& |& 2& |& 3& |& 4& |& 5& |\\ =& =& =& =& =& =& =& =& =& =& =& =\\ y_i& ||& 4& |& 4.5& |& 6& |& 8& |& 8.5& |\\ -& -& -& -& -& -& -& -& -& -& -& -\\ {\rho }_i& ||& 2& |& 1& |& 3& |& 1& |& 1& |\end{array}$$
试用最小二乘法求线性拟合曲线 $y=a+bx$ ，并求均方误差。
解：设拟合函数为
$$\varphi (x)=a+bx$$
$${\varphi }_0(x)=1,{\varphi }_1(x)=x$$
引进向量
$$\begin{array}{rl}{\varphi }_0=& (1,1,1,1,1{)}^{\mathrm{T}}\\ {\varphi }_1=& (1,2,3,4,5{)}^{\mathrm{T}}\\ f=& (4,4.5,6,8,8.5{)}^{\mathrm{T}}\end{array}$$
求内积，带上权函数
$$\begin{array}{rl}({\varphi }_0,{\varphi }_0)=8,& ({\varphi }_0,{\varphi }_1)=22\\ ({\varphi }_1,{\varphi }_0)=22,& ({\varphi }_1,{\varphi }_1)=74\\ (f,{\varphi }_0)=47,& (f,{\varphi }_1)=145.5\end{array}$$
$$\left[\begin{array}{cc}8& 22\\ 22& 74\end{array}\right]\left[\begin{array}{c}a\\ b\end{array}\right]=\left[\begin{array}{c}47\\ 145.5\end{array}\right]$$
解得
$$\{\begin{array}{l}a=2.5648\\ \\ b=1.2037\end{array}$$
所得线性拟合曲线为（保留四位小数）
$$y=2.5648+1.2037x$$
均方误差
$$||\delta |{|}_2=\sqrt{\sum _{i=0}^m\rho (x_i)({\varphi }^{\ast }(x_i)-y_i{)}^2}$$

matlab最小二乘逼近

matlab可以使用左除来求解最小二乘问题。

---

最佳一致逼近

就是构造一个 $n$ 次逼近函数，使得函数与逼近函数的差在区间上有 $n+2$ 个关于 $0$ 的交错点，且这个误差函数在这几个交错点上的绝对值都相等，都为极值点。

一次最佳一致逼近

[!example]-
求函数 $f(x)=x^3$ 在 $[1,3]$ 上的一次最佳一致逼近多项式 $P(x)$ 。
解：设
$$P_1(x)=a_0+a_{1}x$$
$$\because f^{\prime }(x)=3x^2,f^{\prime \prime }(x)=6x>0,x\in [1,3]$$
$$\therefore f(x)与P_1(x)有三个交错偏差点$$
$$x_0=1,x_1\in (1,3),x_2=3$$
由
$$\{\begin{array}{l}f(x_0)-P_1(x_0)=-[f(x_1)-P_1(x_1)]=f(x_2)-P_1(x_2)\\ \\ f^{\prime }(x_1)-P_1^{\prime }(x_1)=0\end{array}$$
得
$$\{\begin{array}{l}{1}^3-(a_0+a_1\cdot 1)=-[x_1^3-(a_0+a_1{x}_1)]=3^3-(a_0+3a_1)\\ \\ 3x_1^2-a_1=0\end{array}$$
解得
$$a_1=13,x_1=\sqrt{\frac{13}{3}},a_0=-(6+\frac{13}{3}\sqrt{\frac{13}{3}})$$
$$P_1(x)=-(6+\frac{13}{3}\sqrt{\frac{13}{3}})+13x\approx -15.0206+13x$$

二次最佳一致逼近

用低阶多项式来逼近高阶多项式
定理：
考虑区间 $[-1,1]$ 上的函数的最佳逼近，对于 $n$ 次首一多项式 $p(x)\in H_n$ ，满足 ${\min }_{p(x)\in H_n}||p(x)|{|}_{C[-1,1]}$ 的 $p(x)$ 是 $n$ 次首一切比雪夫多项式
$$\frac{T_n(x)}{2^{n-1}}$$
即误差函数是一个 $n$ 次首一切比雪夫多项式。所以 $n-1$ 次最佳一致逼近多项式 $P_{n-1}(x)$ 满足
$$\frac{f(x)-P_{n-1}(x)}{a_n}=\frac{T_n(x)}{2^{n-1}}$$
即：
$$P_{n-1}(x)=f(x)-\frac{a_n}{2^{n-1}}{T}_n(x)$$

[!example]-
求 $f(x)=x^3+2x^2$ 在区间 $[2,4]$ 上的二次最佳一致逼近函数，并估计误差。
解：
$$x\in [2,4],令x=\frac{2+4}{2}+\frac{4-2}{2}t=3+t,t\in [-1,1]$$
有
$$g(t)=(3+t{)}^3+2(3+t{)}^2$$
切比雪夫多项式
$$T_3=4t^3-3t$$
在 $t\in [-1,1]$ 上关于 $0$ 有 $4$ 个交错偏差点，所以
$$\begin{array}{rl}{P}_2(t)=& g(t)-\frac{1}{4}{T}_3(t)\\ =& (t+3{)}^3+2(t+3{)}^2-\frac{1}{4}(4t^3-3t)\\ =& 11x^2-\frac{105}{4}x+\frac{99}{4}=P_2^{\ast }(x)\end{array}$$
误差：
$$\underset{2\le x\le 4}{\max }|f(x)-P_2^{\ast }(x)|=\underset{-1\le t\le 1}{\max }|\frac{1}{4}{T}_3(t)|=\frac{1}{4}$$