数值分析复习：最佳逼近、最佳一致逼近、最佳平方逼近

本篇文章适合个人复习翻阅，不建议新手入门使用

最佳逼近

1. 度量空间中的逼近

给定度量空间 $(X,d)$ 及其子集 $S$，若对 $X$中任意一点 $a$，$S$ 中可以找到一个点 $s$ 使得
$$d(a,s)=dist(a,S)$$则称 $s$ 是 $a$ 在 $S$ 中的最佳逼近元

存在性
对度量空间中的点，紧子空间中一定有其最佳逼近元

证明

• 由dist的定义，$\exists s_n\in S,d(a,s_n)\to dist(a,s)$
• 由紧性得 $S$ 闭，$\exists s\in S,s.t.d(s_n,s)\to 0$
• 由三角不等式，$d(a,s)\le d(a,s_n)+d(s_n,s)\to dist$

2. 赋范线性空间中的逼近

给定赋范线性空间 $(X,||\cdot ||)$ 及其子集 $S$，若对 $X$中任意一点 $a$，$S$ 中可以找到一个点 $s$ 使得
$$||a-s||=dist(a,S)$$则称 $s$ 是 $a$ 在 $S$ 中的最佳逼近元

存在性和唯一性

1. 对赋范线性空间中的点，有限维子空间中一定有最佳逼近元
2. 对严格凸赋范线性空间中的点，子空间中最多有一个最佳逼近元
3. 对严格凸赋范线性空间中的点，有限维子空间内存在唯一的最佳逼近元

证明

1. 由度量空间的相关结论立得
2. 同一法：设有两个最佳逼近元 $s_1,s_2$，导出矛盾

3. 连续函数空间上的最佳逼近

3.1 多项式逼近

对给定的 $f(x)\in C[a,b]$ ，在某种范数下，在多项式函数空间 ${\mathbb{P}}_n$ 中 $P(x)$，使得
$$||P(x)-f(x)||=\underset{g\in {\mathbb{P}}_n}{\inf }||g(x)-f(x)||$$注：

• 在 $L^{\infty }$ 范数意义下，$P(x)$ 称为最佳一致逼近多项式（BUAP）
• 在 $L^2$ 范数意义下，$P(x)$ 称为最佳平方逼近多项式

定义

偏差：称 $\Delta (P)=\underset{x}{\max }|f(x)-P(x)|$ 为 $P(x)$ 与 $f(x)$ 的偏差

最小偏差：称 $E_n=\underset{P\in {\mathbb{P}}_n}{\inf }\Delta (P)$ 为 $P(x)$ 对 $f(x)$ 的最小偏差；

偏离点：使 $P(x)$ 达到最小偏差的 $x$ 称为偏离点，根据其相对 $f(x)$ 的位置分别称为正、负偏离点

命题
若存在 $P^{\ast }(x)\in {\mathbb{P}}_n$ ，使得 $\Delta (P^{\ast })=E_n$，则 $P^{\ast }(x)$ 即为 $f(x)$ 在 ${\mathbb{P}}_n$ 中的最佳一致逼近多项式（BUAP）

3.2 存在性和唯一性

Borel存在定理：${\mathbb{P}}_n$ 中最佳逼近多项式存在

证明

• 对任意最小偏差 $E_n$，可找到一列多项式 $P_m(x)$，使得 $\Delta (P_m)\to E_n$ （Weierstrass 逼近定理可证）
• 一列有界多项式 $P_m(x)$ 必有一致收敛的子列 $P^{\ast }(x)$

设 $P_m(x)=a_{0,m}+a_{1,m}x+a_{2,m}{x}^2+\cdots +a_{n,m}{x}^n$
为寻找 $P^{\ast }(x)$ 的各项系数，取 $n+1$ 个点 $x_0,x_1\dots ,x_n$，有
$$\left(\begin{array}{cccc}1& x_0& \cdots & x_0^n\\ 1& x_1& \cdots & x_1^n\\ ⋮& ⋮& & ⋮\\ 1& x_n& \cdots & x_n^n\end{array}\right)\cdot \left(\begin{array}{c}{a}_{0,m}\\ a_{1,m}\\ ⋮\\ a_{n,m}\end{array}\right)=\left(\begin{array}{c}{P}_m(x_0)\\ P_m(x_1)\\ ⋮\\ P_m(x_n)\end{array}\right)$$
由Vandermonde行列式的性质， $a_{0,m},a_{1,m},\dots ,a_{n,m}$ 可被唯一表示，由 $P_m(x)$ 的有界性得到 $a_{0,m},a_{1,m},\dots ,a_{n,m}$ 的有界性
故由对角线方法，可选到共同的子列使得 $$a_{0,m_i}\to a_0^{\ast },\dots ,a_{n,m_i}\to a_n^{\ast }$$
令 $P^{\ast }(x)=a_0^{\ast }+a_1^{\ast }x+a_2^{\ast }{x}^2+\cdots +a_n^{\ast }{x}^n$

• 得到的 $P^{\ast }(x)$ 即为所求
  $$\begin{array}{rl}{E}_n& \le \Delta (P^{\ast })\\ & \le \Delta (P)+\underset{x}{\max }|P-P^{\ast }|\\ & \le E_n+\epsilon \to E_n\end{array}$$

定理：若最佳逼近多项式存在，那么正、负偏离点必同时存在

证明：容易想象，如果多项式无法同时达到正、负偏离点，那么总可以通过上下平移的方式减小偏差

Chebyshev定理：${\mathbb{P}}_n$ 中最佳逼近多项式存在且唯一，且 $P_n(x)$ 为最佳逼近多项式当且仅当不少于 $n+2$ 个点为正负偏离点，且交错取到

证明
充分性：（Vallee-Poussin 定理）

设 $P(x)\in {\mathbb{P}}_n$，$\epsilon (x)=P(x)-f(x)$ 在$x_1<\cdots <x_N$ 上取值为非零的正负相间值 ${\lambda }_1,-{\lambda }_2,\dots ,(-1{)}^{N-1}{\lambda }_N,({\lambda }_i>0)$ 且 $N\ge n+2$ ，则有
$$\forall Q(x)\in {\mathbb{P}}_n,\Delta (Q)\ge \min {\lambda }_i$$

证：反证法+零点存在性定理可导出 $P(x)=Q(x)$ ，得矛盾

必要性：只需证不少于 $n+2$ 个正负偏离点，用反证法
若只有 $n+1$ 个正负偏离点 $x_i$，则构造
$$Q(x)=P(x)+\omega \prod (x-x_i)$$适当选择 $\omega$ 的符号，即可得到 $\Delta (Q)<\Delta (P)$

唯一性：同一法 + 零点存在性定理

定理
若 $f^{(n+1)}(x)$ 在 $(a,b)$ 上存在且保号，则 $f(x)$ 在 ${\mathbb{P}}_n$中的最佳逼近多项式满足：恰有 $n+2$ 个正负偏离点，且 $a,b$ 均为正负偏离点

证明：反证法+Rolle定理

3.3 最小零偏差多项式

定义：（最小零偏差多项式）
$0$ 在 ${\mathbb{P}}_n$ 中的最佳逼近多项式称为最小零偏差多项式，或称 Chebshev最佳逼近多项式

注：等价于 $x^n$ 在${\mathbb{P}}_{n-1}$ 中的最佳逼近多项式

定理：（Chebshev最佳逼近多项式的结构）
最小零偏差多项式为 $2^{1-n}{T}_n(x)$ ，其中 $T_n(x)$ 为 Chebshev多项式
$$T_n(x)=\cos (n\arccos x)$$

证明：
找 $x^n$ 在 ${\mathbb{P}}_{n-1}$ 中的最佳逼近多项式的 $n+1$ 个交错点列，对于 Chebshev多项式即 $$\cos \frac{k\pi }{n},k=0,1,\dots ,n$$

推论：
对所有首项系数为 1的 $n$ 次多项式，有
$$\underset{|x|\le 1}{\max }|P_n(x)|\ge 2^{1-n}$$

4. 内积空间上的最佳逼近

给定内积空间 $(X,<\cdot >)$ 及其子集 $S$，若对 $X$中任意一点 $a$，$S$ 中可以找到一个点 $s$ 使得
$$<a-s,a-s>=||a-s||=dist(a,S)$$则称 $s$ 是 $a$ 在 $S$ 中的最佳逼近元

存在性和唯一性
对内积空间，有限维子空间中必存在唯一的最佳逼近元

内积空间最佳逼近元特征定理
设 $X$ 是与范数相容的线性内积空间，$M$ 是其有限维子空间，则对任意 $f\in X$，$M$ 中的元素 ${\varphi }^{\ast }$ 是 $f$ 的最佳逼近元的充要条件是
$$<f-{\varphi }^{\ast },\varphi >=0,\forall \varphi \in M$$

证明
必要性：反证法，假设存在某个 $\varphi \in M$，使得
$$\alpha =<f-{\varphi }^{\ast },\varphi >\ne 0$$
则$$\begin{array}{rl}& ||f-{\varphi }^{\ast }-\alpha \frac{\varphi }{||\varphi ||}||\\ =& ||f-{\varphi }^{\ast }|{|}^2-2\alpha <f-{\varphi }^{\ast },\frac{\varphi }{||\varphi ||}>+{\alpha }^2||\frac{\varphi }{||\varphi ||}|{|}^2\\ =& ||f-{\varphi }^{\ast }|{|}^2-{\alpha }^2\\ \le & ||f-{\varphi }^{\ast }|{|}^2\end{array}$$即 ${\varphi }^{\ast }$ 不是最佳逼近元

充分性：即验证“勾股定理”
$$\begin{array}{rl}& ||f-\varphi |{|}^2-||f-{\varphi }^{\ast }|{|}^2\\ =& ||\varphi |{|}^2-||{\varphi }^{\ast }|{|}^2-2<f,\varphi >+2<f,{\varphi }^{\ast }>\\ =& ||\varphi -{\varphi }^{\ast }|{|}^2+2<f-{\varphi }^{\ast },{\varphi }^{\ast }-\varphi >\\ =& ||\varphi -{\varphi }^{\ast }|{|}^2\end{array}$$从而$$||f-{\varphi }^{\ast }|{|}^2\le ||f-\varphi |{|}^2$$

定理：最佳逼近元的构造
设有限维子空间 $M$ 的一组基为 { ϕ 1 , ϕ 2 , … , ϕ n } \{\phi_1,\phi_2,\dots,\phi_n\} {ϕ1​,ϕ2​,…,ϕn​}，则最佳逼近元可被线性表出为$${\varphi }^{\ast }=\sum _{i=1}^n{c}_i^{\ast }{\varphi }_i$$由特征定理得
$$\sum _{j=1}^n<{\varphi }_i,{\varphi }_j>c_j^{\ast }=<{\varphi }_i,f>,i=1,2,\dots ,n$$称为最佳逼近元的法方程组，其系数矩阵显然是对称正定的

参考书籍：《数值分析》李庆扬 王能超 易大义 编