数值分析笔记（三）

（在 已知函数$f(x)$的表达式的情况下，求出计算方便且快捷的公式近似逼近 $f(x)$（而最自然想到的 泰勒展开式对于给定精度需要大量项的计算，因此本章直接排除之））

• 一、函数逼近相关概念：

概念	释义	性质
权函数	设$\rho (x)$为区间(a,b)上的非负函数,若其满足${\int }_a^b\mid x{\mid }^n\rho (x)dx$存在，且对于非负的连续函数$g(x)$有${\int }_a^b\rho (x)g(x)dx=0\iff g(x)\equiv 0$ 则称$\rho (x)$为区间(a,b)上的权函数
内积	设$f,g\in C[a,b]$（区间[a,b]上所有实连续函数组成的空间），$\rho (x)$为区间(a,b)上的权函数，则称$(f,g)={\int }_a^b\rho (x)f(x)g(x)dx$为$f$与$g$在$[a,b]$上的内积	$(f,g)=(g,f)$； $(cf,g)=c(f,g)$； $(f_1+f_2,g)=(f_1,g)+(f_2+g)$
正交	设$f,g\in C[a,b]$，若$(f,g)=0$，则称$f$与$g$在$[a,b]$上带权$\rho (x)$正交	若函数族${\phi }_0(x),{\phi }_1(x),...,{\phi }_n(x),...$满足$({\phi }_i(x),{\phi }_j(x))=0\iff i\ne j$；$({\phi }_i(x),{\phi }_j(x))=A_i>0,\iff i=j$，则称 { φ n ( x ) } \{\varphi_n(x)\} {φn​(x)}为$[a,b]$上带权$\rho (x)$的正交函数族，特殊地，当$A_i\equiv 1$时，称为标准正交函数族；当${\phi }_i(x)$均为$i$次多项式时，称其为$[a,b]$上带权$\rho (x)$的正交多项式
函数范数	设$f\in C[a,b]$，若$\Vert f\Vert$满足： （1）$\Vert f\Vert \ge 0，当且仅当f\equiv 0时取等$； （2）$\Vert af\Vert =\mid a\mid \Vert f\Vert$； （3）三角不等式：$\Vert f+g\Vert \le \Vert f\Vert +\Vert g\Vert$ 则称$\Vert f\Vert$为函数范数	常用的函数范数有： $\Vert f{\Vert }_{\infty }=max\mid f\mid$； $\Vert f{\Vert }_2=\sqrt{(f,f)}$
最佳一致逼近多项式	设$f\in C[a,b]$，记次数不超过n的多项式集合为 H n = s p a n { 1 , x , . . , x n } H_n = span\{1,x,..,x^n\} Hn​=span{1,x,..,xn}，则若存在$P_n(x)\subseteq H_n$使得$\Vert f-P_n(x){\Vert }_{\infty }$最小，则称$P_n(x)$为$f(x)$的最佳一致逼近多项式	$Chebyshev$定理：若$f\in C[a,b]$，则其最佳一致逼近多项式$P_n(x)$存在且唯一，且就是$f(x)$的一个$Lagrange$插值多项式
最佳平方逼近多项式	设$f\in C[a,b]$，记 H n = s p a n { 1 , x , . . , x n } H_n = span\{1,x,..,x^n\} Hn​=span{1,x,..,xn}，则若存在$S_n(x)\subseteq H_n$使得$\Vert f-S_n(x){\Vert }_2$最小，则称$S_n(x)$为$f(x)$的最佳平方逼近多项式	见下文
最佳平方逼近函数	设$f\in C[a,b]$，令 Φ = s p a n { φ 0 , φ 1 , . . , φ n } \Phi = span\{\varphi_0,\varphi_1,..,\varphi_n\} Φ=span{φ0​,φ1​,..,φn​}，则若存在$S(x)\subseteq \Phi$使得$\Vert f-S(x){\Vert }_2$最小，则称$P_n(x)$为$f(x)$的最佳平方逼近函数	见下文

---

• 二、常用正交多项式：

（1）$Legendre$多项式：

在区间$[-1,1]$带权$\rho (x)\equiv 1$，且由 { x n } \{x^n\} {xn}正交化得到的多项式称为$Legendre$多项式，分别用$P_0(x),P_1(x),...,P_n(x)$表示(若规定最高项系数为1，则用${\bar{P}}_0(x),{\bar{P}}_1(x),...,{\bar{P}}_n(x)$表示)

=> 通项公式如下：
$$\begin{gathered} P_0(x)=1 \\ {P}_n(x)=\frac{1}{2^{n}n!}\frac{d^n}{d{x}^n}[(x^2-1{)}^n],n>0 \\ {\bar{P}}_n(x)=\frac{n!}{(2n)!}\frac{d^n}{d{x}^n}[(x^2-1{)}^n],n>0 \end{gathered}$$

=> 递推公式如下：
$$\begin{gathered} P_0(x)=1,P_1(x)=x \\ (n+1)P_{n+1}(x)=(2n+1)x{P}_n(x)-n{P}_{n-1}(x)，n>0 \end{gathered}$$

=> 前几项如下：

项序号$i$	$P_i(x)$
$0$	$1$
$1$	$x$
$2$	$\frac{3x^2-1}{2}$
$3$	$\frac{5x^3-3x}{2}$
$4$	$\frac{35x^4-30x^2+3}{8}$
$5$	$\frac{63x^5-70x^3+15x}{8}$

=> 重要性质如下：
① 正交性：
$${\int }_{-1}^1{P}_n(x)P_m(x)dx=\{\begin{array}{ll}0& m\ne n\\ \frac{2}{2n+1}& m=n\end{array}$$
② $P_n(-x)=(-1{)}^n{P}_n(x)$
③ $P_n(x)$在$(-1,1)$上有n个不同的实零点
④ 在所有最高项系数为1的n次多项式中，$Legendre$多项式${\bar{P}}_n(x)$在$[-1,1]$上与零的平方误差最小，即$||{\bar{P}}_n(x)|{|}_2$最小 => 对于在$[-1,1]$上的多项式函数$f(x)$，其最佳n次平方逼近多项式$S_n(x)$满足：$f(x)-S_n(x)={\bar{P}}_n(x)$

（2）$Chebyshev$多项式：

在区间$[-1,1]$带权$\rho (x)=\frac{1}{\sqrt{1-x^2}}$，且由 { x n } \{x^n\} {xn}正交化得到的多项式称为$Chebyshev$多项式，分别用$T_0(x),T_1(x),...,T_n(x)$表示(若规定最高项系数为1，则用${\bar{T}}_0(x),{\bar{T}}_1(x),...,{\bar{T}}_n(x)$表示)

=> 通项公式如下：
$$\begin{gathered} T_n(x)=cos(n\cdot arccosx) \\ {\bar{T}}_n(x)=\frac{1}{2^{n-1}}cos(n\cdot arccosx),n>0 \end{gathered}$$

=> 递推公式如下：
$$\begin{gathered} T_0(x)=1,T_1(x)=x \\ {T}_{n+1}(x)=2x{T}_n(x)-T_{n-1}(x)，n>0 \end{gathered}$$

=> 前几项如下：

项序号$i$	$T_i(x)$
$0$	$1$
$1$	$x$
$2$	$2x^2-1$
$3$	$4x^3-3x$
$4$	$8x^4-8x^2+1$
$5$	$16x^5-20x^3+5x$

=> 重要性质如下：
① 正交性：
$${\int }_{-1}^1\frac{1}{\sqrt{1-x^2}}{T}_n(x)T_m(x)dx=\{\begin{array}{ll}0& m\ne n\\ \frac{\pi }{2}& m=n\ne 0\\ \pi & m=n=0\end{array}$$
② $T_{2n}(x)只含x的偶数次幂，T_{2n+1}(x)只含x的奇数次幂$
③ $P_n(x)$在$(-1,1)$上有n个不同的实零点
④ 在所有最高项系数为1的n次多项式中，$Chebyshev$多项式${\bar{T}}_n(x)$在$[-1,1]$上与零的偏差最小，即$||{\bar{T}}_n(x)|{|}_{\infty }$最小 => 对于在$[-1,1]$上的多项式函数$f(x)$，其最佳n次逼近多项式$P_n(x)$满足：$f(x)-P_n(x)={\bar{T}}_n(x)$

（3）第二类$Chebyshev$多项式：
在区间$[-1,1]$带权$\rho (x)=\sqrt{1-x^2}$，且由 { x n } \{x^n\} {xn}正交化得到的多项式称为第二类$Chebyshev$多项式，分别用$U_0(x),U_1(x),...,U_n(x)$表示
=> 通项公式如下：
$$U_n(x)=\frac{1}{\sqrt{1-x^2}}sin((n+1)\cdot arccosx)$$

=> 递推公式如下：
$$\begin{gathered} U_0(x)=1,U_1(x)=2x \\ {U}_{n+1}(x)=2x{U}_n(x)-U_{n-1}(x)，n>0 \end{gathered}$$

（4）$Laguerre$多项式：
在区间$[0,+\infty )$带权$\rho (x)=e^{-x}$，且由 { x n } \{x^n\} {xn}正交化得到的多项式称$Laguerre$多项式，分别用$L_0(x),L_1(x),...,L_n(x)$表示
=> 通项公式如下：
$$L_n(x)=e^n\frac{d^n}{d{x}^n}[x^n{e}^{-x}]$$

=> 递推公式如下：
$$\begin{gathered} L_0(x)=1,L_1(x)=1-x \\ {L}_{n+1}(x)=(1+2n-x)L_n(x)-n^2{L}_{n-1}(x)，n>0 \end{gathered}$$

（5）$Hermite$多项式：
在区间$(-\infty ,+\infty )$带权$\rho (x)=e^{-x^2}$，且由 { x n } \{x^n\} {xn}正交化得到的多项式称$Hermite$多项式，分别用$H_0(x),H_1(x),...,H_n(x)$表示
=> 通项公式如下：
$$H_n(x)=(-1{)}^n{e}^{x^2}\frac{d^n}{d{x}^n}[e^{-x^2}]$$

=> 递推公式如下：
$$\begin{gathered} H_0(x)=1,H_1(x)=2x \\ {H}_{n+1}(x)=2x{H}_n(x)-2n{H}_{n-1}(x)，n>0 \end{gathered}$$

---

• 三、函数族线性无关的$Cramer$判别法：

函数族 { φ n ( x ) } \{\varphi_n(x)\} {φn​(x)}在$[a,b]$上线性无关的充要条件为其$Cramer$行列式$G_n\ne 0$，
$$G_n=\left|\begin{array}{cccc}({\phi }_0,{\phi }_0)& ({\phi }_0,{\phi }_1)& ...& ({\phi }_0,{\phi }_n)\\ ({\phi }_1,{\phi }_0)& ({\phi }_1,{\phi }_1)& ...& ({\phi }_1,{\phi }_n)\\ ...& ...& ...& ...\\ ({\phi }_n,{\phi }_0)& ({\phi }_n,{\phi }_1)& ...& ({\phi }_n,{\phi }_n)\end{array}\right|$$

---

• 四、法方程法求最佳平方逼近函数 / 多项式：

设函数族 { φ n ( x ) } \{\varphi_n(x)\} {φn​(x)}在$[a,b]$上线性无关,令 Φ = s p a n { φ 0 , φ 1 , . . , φ n } \Phi = span\{\varphi_0,\varphi_1,..,\varphi_n\} Φ=span{φ0​,φ1​,..,φn​}，则可由以下法方程解得在$\Phi$上的一个最佳平方逼近函数$S(x)={\sum }_{i=0}^n{a}_i{\phi }_i$：

$G_n\times (a_0,a_1,...,a_n{)}^T=((f,{\phi }_0),(f,{\phi }_1),...,(f,{\phi }_n){)}^T$

其中$G_n$是$Cramer$行列式对应的矩阵

当${\phi }_n(x)$为多项式函数时，可以解得在$H_n(x)$上的一个最佳平方逼近多项式$S_n(x)$
特殊地，当${\phi }_n(x)=x^n$时，称该矩阵为$Hilbert$矩阵（一个典型的病态矩阵）

---

• 五、广义$Fourier$级数求最佳平方逼近多项式：

设$f\in C[a,b]$， { g n ( x ) } \{g_n(x)\} {gn​(x)}为$[a,b]$上带权$\rho (x)$的正交多项式族,令 G = s p a n { g 0 , g 1 , . . , g n } G = span\{g_0,g_1,..,g_n\} G=span{g0​,g1​,..,gn​}，则$f(x)$的一个最佳平方逼近多项式为：

$S_n(x)={\sum }_{k=0}^n\frac{(f,g_k)}{(g_k,g_k)}{g}_k(x)$
当$n=\infty$时，称${\sum }_{k=0}^{\infty }\frac{(f,g_k)}{(g_k,g_k)}{g}_k(x)$为广义$Fourier$级数

=> $Legendre$多项式展开的广义$Fourier$级数：
即令$g_n(x)=P_n(x)(x\in [-1,1])$，则有：

$S_n(x)={\sum }_{k=0}^n[\frac{2k+1}{2}{\int }_{-1}^{1}f(x)P_k(x)dx]\cdot P_k(x)$

当$x\in [a,b]$时，作变换：$x=\frac{b-a}{2}t+\frac{b+a}{2}(t\in [-1,1])$
令$F(t)=f(\frac{b-a}{2}t+\frac{b+a}{2})$，解得$F(t)$的最佳平方逼近多项式$S_n(t)$，可得$f(x)$的最佳平方逼近多项式$S_n(\frac{1}{b-a}(2x-a-b))$

=> 利用 $Legendre$多项式展开的广义$Fourier$级数解得的最佳平方逼近多项式与法方程法是一致的，但是n较大时后者会出现病态方程，而前者不存在病态问题，因此求最佳平方逼近多项式优先选择前者

---

• 六、$Fourier$级数求最佳平方逼近三角多项式：

设$f(x)$是以$2\pi$为周期的平方可积函数，在$[0,2\pi ]$用三角多项式$S(x)=\frac{1}{2}{a}_0+{\sum }_{k=1}^n[a_{k}coskx+b_{k}sinkx]$作最佳平方逼近函数，其系数即是 $Fourier$系数：
$$\{\begin{array}{ll}{a}_k=\frac{1}{\pi }{\int }_0^{2\pi }f(x)coskxdx& (k=0,1,..,n)\\ b_k=\frac{1}{\pi }{\int }_0^{2\pi }f(x)sinkxdx& (k=1,2,..,n)\end{array}$$

---

• 七、曲线拟合的最小二乘法：

（曲线拟合是根据一系列的观测点$(x_i,y_i)$拟合一个函数$y=F(x)$使得其在给定点$x_i$上误差$e_i=F(x_i)-y_i$按某种标准最小，使得其能较精确地反映出自变量$x$和因变量$y$之间的函数关系）

（而最小二乘法是在函数空间 Φ = s p a n { φ 0 , φ 1 , . . , φ n } \Phi = span\{\varphi_0,\varphi_1,..,\varphi_n\} Φ=span{φ0​,φ1​,..,φn​}上找到函数$y=S(x)$，使得对误差最小化考虑的标准：误差的加权平方和$||e|{|}_2^2={\sum }_{i=0}^n{\omega }_i[S(x_i)-y_i{]}^2$最小，其中$\omega (x)$是$[a,b]$上的权函数，以下介绍三种最小二乘法）

（1）法方程法：

步骤	操作
计算$({\phi }_i,{\phi }_j)$	$({\phi }_i,{\phi }_j)={\sum }_{k=0}^n\omega (x_k){\phi }_i(x_k){\phi }_j(x_k)$
计算$(f,{\phi }_j)$	$(f,{\phi }_j)={\sum }_{k=0}^n\omega (x_k)f(x_k){\phi }_j(x_k)$
解法方程	$G_n\times (a_0,a_1,...,a_n{)}^T=((f,{\phi }_0),(f,{\phi }_1),...,(f,{\phi }_n){)}^T$； 其中$G_n$为$Cramer$行列式对应的矩阵
得到最小二乘拟合函数$S(x)$	$S(x)={\sum }_{i=0}^n{a}_i{\phi }_i(x)$

=> 可以明显看出，最小二乘法的法方程法即是“级数版”的法方程求最佳平方逼近函数 / 多项式

（2）广义$Fourier$级数法：
（注意，以下的符号按照“（1）法方程”步骤中的符号操作进行）

步骤	操作
递推构造关于点集 { x i } \{x_i\} {xi​}带权$\omega (x)$的正交多项式族 { P n ( x ) } \{P_n(x)\} {Pn​(x)}	$P_0(x)=1$； $P_1(x)=(x-{\alpha }_1)P_0(x)$； $P_{k+1}(x)=(x-{\alpha }_{k+1})P_k(x)-{\beta }_k{P}_{k-1}(x)$ 其中：${\alpha }_{k+1}=\frac{(x{P}_k,P_k)}{(P_k,P_k)};{\beta }_k=\frac{(P_k,P_k)}{(P_{k-1},P_{k-1})}$
计算系数$a_k$	$a_k=\frac{(f,P_k)}{(P_k,P_k)}$
得到最小二乘拟合函数$S(x)$	$S(x)={\sum }_{i=0}^n{a}_i{P}_i(x)$

=> 可以明显看出，最小二乘法的广义$Fourier$级数法即是“级数版”的广义$Fourier$级数求最佳平方逼近多项式

（3）离散$Fourier$变换法：
设$f(x)$是以$2\pi$为周期的复函数，在区间$[0,2\pi ]$上给定的N等分点$x_j=\frac{2\pi }{N}j(j=0,1,..,N-1)$有函数值$f_j$，则可得最小二乘$Fourier$拟合函数：

$S(x)={\sum }_{k=0}^{N-1}{C}_k{e}^{ikx}$

其中：$C_k=\frac{1}{N}{\sum }_{j=0}^{N-1}{f}_j{e}^{-ik{x}_j}$，称离散$Fourier$系数

=> 可以明显看出，最小二乘法的离散$Fourier$变换法即是“级数版”的$Fourier$级数求最佳平方逼近三角多项式

---

---