数值分析公式大赏（上）

误差分析

误差的基本概念

截断误差是指在构造数值计算方法时，用有限的过程代替无限的过程或用简易的方法代替复杂的方法造成的计算结果的误差。
截断误差是由计算的方法造成的，所以也叫方法误差。
舍入误差是计算机的计算精度限制所造成的误差，也叫计算误差；此外，实验的测量精度所造成的误差也归为此类。
绝对误差的定义：e=x-x*，x*在本章为估计值，在后面代表精确值。
绝对误差限的定义：|e|=|x-x*|≤ε，或x=x*±ε
相对误差的定义：$e_r=\frac{x-x^{\ast }}{x}$，或$e_r=\frac{x-x^{\ast }}{x^{\ast }}$
相对误差限的定义：$|e_r|=|\frac{x-x^{\ast }}{x}|\le {\epsilon }_r$，或${\epsilon }_r=\frac{\epsilon }{|x^{\ast }|}$
函数的误差估计：$e(y)=y^{\prime }(x^{\ast })e(x)，e_r(y)=\frac{e(y)}{y^{\ast }}=\frac{y^{\prime }(x^{\ast })e(x)}{y(x^{\ast })}$

近似数的有效数字的半位判断法：
（1）用3.14近似表示π，因为|3.14-π|≈0.0015926∈[5×10^-4,5×10^-3]，所以0.14对π具有3位有效数字。
（2）用$\frac{22}{7}$近似表示π，因为$|\frac{22}{7}-\pi |$≈0.0013∈[5×10^-4,5×10^-3]，所以$\frac{22}{7}$对π具有3位有效数字。
（3）用3.1415近似表示π，因为|3.1415-π|≈0.0000926∈[5×10^-5,5×10^-4]，所以$\frac{22}{7}$对π具有4位有效数字。
（4）用3.1416近似表示π，因为|3.1415-π|≈0.000007∈[5×10^-6,5×10^-5]，所以$\frac{22}{7}$对π具有5位有效数字。

算法的数值稳定性：在迭代时如果误差不会被积累或放大，它就是数值稳定的，当然误差在迭代后变得越小就越好。
做题时一般可得到迭代公式x_k+1=f(x_k)，据此得出误差估计式e(x_k+1)=Le(x_k)，若|L|<1则迭代算法稳定，否则不稳定。线性代数中类似地有ρ(B)<1或||B||<1。

数值算法设计若干原则

（1）尽量简化计算步骤，减少运算次数，尤其是减少乘除法运算次数
多项式y=a_nxⁿ+⋯+a₁x+a₀需要$\frac{n(n+1)}{2}$次乘法运算。
如果将其改写为秦九韶算法的格式，形如y=((a₃x+a₂)x+a₁)x+a₀，则只需n次乘法运算。
（2）尽量减少舍入误差的影响，避免有效数字的损失，保证算法的数值稳定性
如通过对公式进行变换避免两相近数相减、大数吃掉小数或分母极小等情形。

函数的插值拟合法

插值问题的提法

理解插值问题的基本概念、插值多项式的存在唯一性。

Lagrange插值法

若知道n个点x₀、x₁、⋯、x_n与对应的函数值f₀、f₁、⋯、f_n，就可以据此作出一个唯一的n次拉格朗日插值多项式。
设l_k(x)为拉格朗日插值基函数，则：
n=1时，拉格朗日线性插值公式为$L_1(x)=l_0{f}_0+l_1{f}_1=\frac{x-x_1}{x_0-x_1}{f}_0+\frac{x-x_0}{x_1-x_0}{f}_1$。
n=2时，拉格朗日抛物线插值公式为$L_2(x)=\sum l_i{f}_i=\frac{(x-x_1)(x-x_2)}{(x_0-x_1)(x_0-x_2)}{f}_0+\frac{(x-x_0)(x-x_2)}{(x_1-x_0)(x_1-x_2)}{f}_1+\frac{(x-x_0)(x-x_1)}{(x_2-x_0)(x_2-x_1)}{f}_2$。
高阶插值公式同理。此外，在拉格朗日插值中，有$\left[\begin{array}{ccc}{l}_0(x_0)& l_0(x_1)& l_1(x_2)\\ l_1(x_0)& l_1(x_1)& l_1(x_2)\\ l_2(x_0)& l_2(x_1)& l_2(x_2)\end{array}\right]=\left[\begin{array}{ccc}1& & \\ & 1& \\ & & 1\end{array}\right]=E$。

原函数在[a,b]上可以表示成f(x)=L_n(x)+R_n(x），即拉格朗日插值多项式及其余项之和。
拉格朗日插值的余项公式：$R_n(x)=\frac{f^{(n+1)}(\xi )}{(n+1)!}{\omega }_{(n+1)}(x)=\frac{f^{(n+1)}(\xi )}{(n+1)!}{\prod }_{i=0}^n(x-x_i)$，其中ξ∈(a,b)且与x有关。

Hermite插值法

若已知两点x₀、x₁，对应的函数值f₀、f₁和导数值f’₀、f’₁，则相应的两点三次Hermite插值公式为：
${\alpha }_0(x)=(1+2\frac{x-x_0}{x_1-x_0})(\frac{x-x_1}{x_0-x_1}{)}^2$
${\alpha }_1(x)=(1+2\frac{x-x_1}{x_0-x_1})(\frac{x-x_0}{x_1-x_0}{)}^2$
${\beta }_0(x)=(x-x_0)(\frac{x-x_1}{x_0-x_1}{)}^2$
${\beta }_1(x)=(x-x_1)(\frac{x-x_0}{x_1-x_0}{)}^2$
$H_3(x)={\alpha }_0{f}_0+{\alpha }_1{f}_1+{\beta }_0{f}_0^{\prime }+{\beta }_1{f}_1^{\prime }$
其余项表达式为$R_3(x)=f(x)-H_3(x)=\frac{f^{(4)}}{4!}(x-x_0{)}^2(x-x_1{)}^2$。

若是知道三点的f₀、f₁、f₂和f’₁，可先作三点的二次拉格朗日插值函数L₂，再设H₃=L₂+k(x-x₀)(x-x₁)(x-x₂)，解出k即可得H₃。
也可直接设H₃(x)=a₃x³+a₂x²+a₁x+a₀，然后暴力代入求解。
最后，其余项为$R_3(x)=\frac{f^{(4)}}{4!}(x-x_0)(x-x_1{)}^2(x-x_2)$。

差商

一阶差商公式：$f[x_0,x_1]=\frac{f(x_0)-f(x_1)}{x_0-x_1}$。若设零阶差商为函数值，分子也可看做两个零阶差商的差。
二阶差商公式：$f[x_0,x_1,x_2]=\frac{f[x_0,x_1]-f[x_1,x_2]}{x_0-x_2}$
n阶差商公式：$f[x_0,x_1,\cdots ,x_n]=\frac{f[x_0,x_1,\cdots ,x_{n-1}]-f[x_1,x_2,\cdots ,x_n]}{x_1-x_n}$
求差商时需要做阶梯型差商表。
差商的性质：在[a,b]中求差商时，有$f[x_0,x_1,\cdots ,x_n]=\frac{f^{(n)}(\xi )}{n!}$，其中ξ∈[a,b]。

Newton插值法

牛顿插值多项式是利用数据点的各阶差商拟合的多项式。
一阶牛顿插值多项式：$N_1=f(x_0)+f[x_0,x_1](x-x_0)$
二阶牛顿插值多项式：$N_2=f(x_0)+f[x_0,x_1](x-x_0)+f[x_0,x_1,x_2](x-x_0)(x-x_1)$
n阶牛顿插值多项式：$N_n=N_{n-1}+f[x_0,x_1,\cdots ,x_n](x-x_0)(x-x_1)\cdots (x-x_{n-1})$
牛顿插值多项式的余项估计：$|R_n(x)|\le |f[x_0,x_1,\cdots ,x_n,x_{n+1}](x-x_0)(x-x_1)\cdots (x-x_n)|$
牛顿插值法比拉格朗日插值法节省3~4倍的工作量。

分段线性插值法

Runge现象即用三次以上的高次多项式拟合数据时产生的过拟合现象。
为了避免数据过多时高次多项式产生的过拟合现象，可采用分段低次插值法拟合函数。

分段线性插值法即分段使用一次拉格朗日插值公式，虽然表达式写作φ(x)=∑l_if_i，但l_i只在前后区间中起作用，而在其它区间内为0。

三次样条函数与三次样条插值法

所谓三次样条曲线就是挠曲线，即光滑的分段三次多项式。
挠曲线中的挠度、转角和弯矩连续，因此三次样条函数的f(x)、f’(x)、f"(x)也连续。剪力不一定连续，所以f"’(x)不一定连续。
特别地，自然边界条件指挠曲线的最左端和最右端处有f"(x)=0，即弯矩为0。
如果将挠曲线用于拟合周期函数，则需保证曲线头尾的挠度、转角和弯矩相等。

函数的最小二乘拟合法

曲线拟合的最小二乘法

对离散实验数据做最小二乘拟合的两个主要步骤是选定拟合模型的形式和求模型的最小二乘解。
曲线拟合的最小二乘法是指用偏导数求“曲线上各点的拟合值与近似值的误差平方和最小”时的曲线参数。
这也就是机器学习里经典的用伪逆求超定方程组$Ax=b$的近似解$x=(A^{T}A{)}^{-1}{A}^{T}b$的过程。
直接用最小二乘法的定义求，即列出误差函数e=∑(y_i-f_i)²后，对拟合函数的各参数列$\frac{\partial e}{\partial k_i}=0$，计算参数比法方程方便。
在上述解方程过程中所使用的方程$A^{T}Ax=A^{T}b$被称为法方程。
若把A看做列向量集[φ₀,φ₁,⋯,φ_n]，那么法方程的系数矩阵G=A^TA的元素a_ij即为对应列向量的内积(φ_i,φ_j)。

正交多项式

在使用三次及以上的多项式拟合函数时，法方程的条件数会变得很大，使之变得病态。
因此，需要用“基于正交多项式的曲线拟合方法”改善这一病态现象。
函数f(x)、g(x)在区间[a,b]上的权重为ρ的函数内积被定义为$(f,g)={\int }_a^b\rho (x)f(x)g(x)\mathrm{d}x$。
在区间[a,b]内，如果函数f(x)、g(x)和权函数ρ(x)满足(f,g)=0，则称函数f与g在[a,b]上带权ρ正交。
假设有一函数序列{φ₀,φ₁,⋯,φ_n}，其中的每个元素都是一个函数。
在某一区间内，若该序列中任意两个不同的多项式带权ρ正交，则该函数序列带权ρ正交。
在此基础上，若序列中每个元素与自己的（ρ=1的）内积都为1，则该序列为规范正交序列。
假设有多项式序列{φ₀,φ₁,⋯,φ_n}，其中φ_i为i次多项式。
在某一区间内，若该序列中任意两个不同的多项式带权ρ正交，则该多项式序列带权ρ正交。
线性代数中将向量组A变为正交向量组B的施密特正交化公式为$\{\begin{array}{c}{\beta }_1={\alpha }_1\\ {\beta }_2={\alpha }_2-\frac{({\alpha }_2,{\beta }_1)}{({\beta }_1,{\beta }_1)}\cdot {\beta }_1\\ {\beta }_3={\alpha }_3-\frac{({\alpha }_3,{\beta }_1)}{({\beta }_1\cdot {\beta }_1)}\cdot {\beta }_1-\frac{({\alpha }_3,{\beta }_2)}{({\beta }_2,{\beta }_2)}\cdot {\beta }_2\\ \cdots \end{array}$
同理可得Gram-Schmidt正交化方法的公式为$\{\begin{array}{c}{\phi }_0=1\\ {\phi }_1=x-\frac{(x,{\phi }_0)}{({\phi }_0,{\phi }_0)}\cdot {\phi }_0\\ {\phi }_2=x^2-\frac{(x^2,{\phi }_0)}{({\phi }_0,{\phi }_0)}\cdot {\phi }_0-\frac{(x^2,{\phi }_1)}{({\phi }_1,{\phi }_1)}\cdot {\phi }_1\\ \cdots \end{array}$
Legendre多项式的定义为$P_0(x)=1,P_n(x)=\frac{1}{2n!}\frac{{\mathrm{d}}^n}{\mathrm{d}{x}^n}[(x^2-1{)}^n],x\in [-1,1]$，其性质为：
（1）正交性：两个不同次数的勒让德多项式（带权ρ=1）正交。
（2）递推公式：$P_0(x)=1,P_1(x)=x,P_{n+1}(x)=\frac{2n+1}{n+1}x{P}_n(x)-\frac{n}{n+1}{P}_{n-1}(x)$
（3）奇偶性：当勒让德多项式的最高次数为奇数时，多项式为奇函数，最高次数为偶数时为偶函数
（4）勒让德多项式的所有根都是单根，且与原点对称。

连续函数的最佳平方逼近

Span代表线性空间，Φ=Span(1,x,x²,⋯ ,xⁿ)代表一个线性多项式空间。比如，p(x)∈P=Span(1,x²)等价于p(x)=a₀+a₁x²。
为了求区间[a,b]上对f(x)的最佳平方逼近函数g(x)，需让区间平方误差$e={\int }_a^b[f(x)-g(x){]}^2\mathrm{d}x$最小。
为了让e最小，自然要让g内各参数满足$\frac{\partial e}{\partial k_i}=0$，从而求出各参数。
一般考试中，要求的是积分比较好算的最佳平方逼近多项式。

数值法求定积分

数值求积的基本思想、插值型求积公式与代数精度

定积分的定义式为${\int }_a^{b}f(x)\mathrm{d}x=\underset{\lambda \to \infty }{\lim }\sum \Delta x_{k}f({\xi }_k)$。
若积分的每个小区间很小，但不是无限小，则上式可改写为${\int }_a^{b}f(x)\mathrm{d}x={\sum }_{k=0}^n{A}_{k}f(x_k)+R_n[f]$。
上式被称为函数f在[a,b]上的数值求积公式及其余项，x_k为求积节点，A_k为与被积函数无关的求积系数。

拉格朗日插值公式为$f(x)={\sum }_{i=0}^n{l}_i(x)f_i+\frac{f^{(n+1)}(\xi )}{(n+1)!}{\omega }_{(n+1)}(x)$
将上式两边积分，即可得插值型求积公式${\int }_a^{b}f(x)\mathrm{d}x={\sum }_{k=0}^n{f}_k{\int }_a^b{l}_k(x)\mathrm{d}x+\frac{1}{(n+1)!}{\int }_a^b{f}^{(n+1)}(\xi (x)){\omega }_{(n+1)}(x)\mathrm{d}x$。
因此，插值型求积公式中的求积系数为${\int }_a^b{l}_k(x)\mathrm{d}x$，余项为$\frac{1}{(n+1)!}{\int }_a^b{f}^{(n+1)}(\xi (x)){\omega }_{(n+1)}(x)\mathrm{d}x$。
若插值型求积公式中的被积函数为次数≤n的多项式，因为其余项在求(n+1)次导后会变为0，所以插值型求积公式会变为准确求积公式。（多项式不是直接硬积就完事了嘛）

对于数值求积公式${\int }_a^{b}f(x)\mathrm{d}x={\sum }_{k=0}^n{A}_{k}f(x_k)+R_n[f]$，若f(x)为m次及以下的多项式时公式的余项为0，f(x)为(m+1)次多项式时余项不为0，则该数值求积公式具有m次代数精度。
用(n+1)个结点求得的插值型求积公式至少具有n次代数精度，在做题时可以将f(x)依次代为$1,x,x^2,\cdots ,x^n$求积分系数，并代入更高次式验算所得公式是否有更高的代数精度。

Newton-Cotes型求积公式（等距节点插值型求积公式）

Newton-Cotes型求积公式的通式为${\int }_a^{b}f(x)\mathrm{d}x=(b-a){\sum }_{k=0}^n{C}_k^{(n)}f(x_k)+R[f]$。
其中，$C_k^{(n)}=\frac{(-1{)}^{n-k}}{nk!(n-k)!}{\int }_0^{n}t(t-1)(t-2)\cdots (t-n)\mathrm{d}t$被称为Cotes系数。

• 用两个端点求积时，设Newton-Cotes求积公式为${\int }_{-1}^{1}f(x)\mathrm{d}x\approx Af(-1)+Bf(1)$。
  为了使求积公式精度最高，列出$\{\begin{array}{c}{\int }_{-1}^1\mathrm{d}x=A+B=2\\ {\int }_{-1}^{1}x\mathrm{d}x=-A+B=0\end{array}$，解得$A=1,B=1$。
  将上述系数除以区间长度，即可得一阶Cotes系数为$\frac{1}{2},\frac{1}{2}$。
  因此，梯形公式（一阶Newton-Cotes求积公式）为${\int }_a^{b}f(x)\mathrm{d}x=(b-a)[\frac{1}{2}f(a)+\frac{1}{2}f(b)]-\frac{(b-a{)}^3}{12}{f}^{\prime \prime }(\xi ),\xi \in [a,b]$。
  显然，将f(x)代为x²时上述公式左右两边不等，所以一阶Newton-Cotes求积公式具有一次代数精度。

• 用三个等距节点求积时，设Newton-Cotes求积公式为${\int }_{-1}^{1}f(x)\mathrm{d}x\approx Af(-1)+Bf(0)+Cf(1)$。
  为了使求积公式精度最高，列出$\{\begin{array}{c}{\int }_{-1}^1\mathrm{d}x=A+B+C=2\\ {\int }_{-1}^{1}x\mathrm{d}x=-A+C=0\\ {\int }_{-1}^1{x}^2\mathrm{d}x=A+C=\frac{2}{3}\end{array}$，解得$A=\frac{1}{3},B=\frac{4}{3},C=\frac{1}{3}$。
  将上述系数除以区间长度，即可得二阶Cotes系数为$\frac{1}{6},\frac{4}{6},\frac{1}{6}$。
  因此，Simpson公式（二阶Newton-Cotes求积公式）为${\int }_a^{b}f(x)\mathrm{d}x=(b-a)[\frac{1}{6}f(a)+\frac{4}{6}f(\frac{a+b}{2})+\frac{1}{6}f(b)]-\frac{(b-a{)}^5}{2880}{f}^{(4)}(\xi ),\xi \in [a,b]$。
  显然，将f(x)代为x³时上述公式左右两边也相等，代入x⁴时则不等，所以一阶Newton-Cotes求积公式具有三次代数精度。
  以此类推，奇数阶Newton-Cotes型求积公式的代数精度=阶数，偶数阶公式的代数精度=阶数+1。

求余项系数的方法：
例如${\int }_0^{1}f(x)\mathrm{d}x=\frac{3}{4}f(\frac{1}{3})+\frac{1}{4}f(1)+C{f}^{\prime \prime \prime }(\xi )$二阶收敛，将f(x)代入为x³，原式变为$\frac{1}{4}=\frac{1}{36}+\frac{1}{4}+6C$，故$C=-\frac{1}{216}$。

令插值型求积公式${\int }_a^{b}f(x)\mathrm{d}x={\sum }_{k=0}^n{A}_{k}f(x_k)+R_n[f]$中的f(x)=1，可得系数之和${\sum }_{k=0}^n{A}_k=b-a$。
显然，同阶Cotes系数不仅是对称的，且它们的和为1。阶数够高时，Cotes系数会为负。
若插值型求积公式${\int }_a^{b}f(x)\mathrm{d}x={\sum }_{k=0}^n{A}_{k}f(x_k)+R_n[f]$中的求积系数都>0，则该求积公式是数值稳定的。

与分段低次插值类似，用分段低次插值求积法可以提高积分精度，这也被称为复化求积方法。
将[a,b]等分为长度为h的n个区间，用(n+1)个区间点进行插值积分，则：
复化梯形公式及其余项：${\int }_a^{b}f(x)\mathrm{d}x={\sum }_{k=0}^{n-1}h[\frac{1}{2}f(x_k)+\frac{1}{2}f(x_{k+1})]-\frac{(b-a)h^2}{12}{f}^{\prime \prime }(\xi ),\xi \in (a,b)$
复化Simpson公式及其余项：${\int }_a^{b}f(x)\mathrm{d}x={\sum }_{k=0}^{n-1}h[\frac{1}{6}f(x_k)+\frac{4}{6}f(\frac{x_k+x_{k+1}}{2})+\frac{1}{6}f(x_{k+1})]-\frac{(b-a)h^4}{2880}{f}^{(4)}(\xi ),\xi \in (a,b)$

Gauss型求积公式

Gauss型求积公式是指形如${\int }_a^b\rho (x)f(x)\mathrm{d}x={\sum }_{k=0}^n{A}_{k}f(x_k)+R_n[f]$的带权ρ的、具有(2n+1)次代数精度的插值求积公式。
高斯型求积公式的插值节点被称为高斯点。
高斯点等价于在[a,b]上使ω_n+1(x)和任何次数≤n的多项式p(x)带权ρ正交的点，写成公式就是${\int }_a^b\rho (x){\omega }_{n+1}(x)p(x)\mathrm{d}x=0$。

当x∈[-1,1]时，令权$\rho =1$，即得Gauss-Legendre求积公式${\int }_{-1}^{1}f(x)\mathrm{d}x={\sum }_{k=0}^n{A}_{k}f(x_k)+R_n[f]$。

• 用两个节点求积时，设Gauss-Legendre求积公式为${\int }_{-1}^{1}f(x)\mathrm{d}x\approx Af(-\alpha )+Bf(\alpha )$。
  为了使求积公式精度最高，列出$\{\begin{array}{c}{\int }_{-1}^1\mathrm{d}x=A+B=2\\ {\int }_{-1}^{1}x\mathrm{d}x=-A\alpha +B\alpha =0\\ {\int }_{-1}^1{x}^2\mathrm{d}x=A{\alpha }^2+B{\alpha }^2=\frac{2}{3}\end{array}$，解得$A=1,B=1,\alpha =\frac{\sqrt{3}}{3}$。
  因此，两点Gauss-Legendre求积公式为${\int }_{-1}^{1}f(x)\mathrm{d}x\approx f(-\frac{\sqrt{3}}{3})+f(\frac{\sqrt{3}}{3})$，两个求积结点即为高斯点。
  显然，将f(x)代为x³时上述公式左右两边也相等，代入x⁴时则不等，所以一阶Gauss-Legendre求积公式具有三次代数精度。

• 用三个节点求积时，设Gauss-Legendre求积公式为${\int }_{-1}^{1}f(x)\mathrm{d}x\approx Af(-\alpha )+Bf(0)+Cf(\alpha )$。
  为了使求积公式精度最高，列出$\{\begin{array}{c}{\int }_{-1}^1\mathrm{d}x=A+B+C=2\\ {\int }_{-1}^{1}x\mathrm{d}x=-A\alpha +C\alpha =0\\ {\int }_{-1}^1{x}^2\mathrm{d}x=A{\alpha }^2+C{\alpha }^2=\frac{2}{3}\\ {\int }_{-1}^1{x}^3\mathrm{d}x=-A{\alpha }^3+C{\alpha }^3=0\\ {\int }_{-1}^1{x}^4\mathrm{d}x=A{\alpha }^4+C{\alpha }^4=\frac{2}{5}\end{array}$，解得$A=\frac{5}{9},B=\frac{8}{9},C=\frac{5}{9},\alpha =\frac{\sqrt{15}}{5}$。
  因此，三点Gauss-Legendre求积公式为${\int }_{-1}^{1}f(x)\mathrm{d}x\approx \frac{5}{9}f(-\frac{\sqrt{15}}{5})+\frac{8}{9}f(0)+\frac{5}{9}f(\frac{\sqrt{15}}{5})$，三个求积结点即为高斯点。
  显然，将f(x)代为x⁵时上述公式左右两边也相等，代为x⁶时则不等，所以二阶Gauss-Legendre求积公式具有五次代数精度。
  以此类推，n阶Gauss-Legendre求积公式具有(2n+1)次代数精度，其实高斯型求积公式都具有(2n+1)次代数精度。

当x∈[-1,1]时，令权$\rho =\frac{1}{\sqrt{1-x^2}}$,即得Gauss-Chebyshev求积公式${\int }_{-1}^1\frac{f(x)}{\sqrt{1-x^2}}\mathrm{d}x={\sum }_{k=0}^n{A}_{k}f(x_k)+R_n[f]$。
其系数为$A_k=\frac{\pi }{n+1}$，故求积公式为${\int }_{-1}^1\frac{f(x)}{\sqrt{1-x^2}}\mathrm{d}x\approx \frac{\pi }{n+1}{\sum }_{k=0}^{n}f(x_k)$。

令高斯型求积公式的$f(x)=l_k^2(x)$，即拉格朗日插值基函数的平方，它是2n次多项式，故${\int }_a^b\rho (x)l_k^2(x)\mathrm{d}x={\sum }_{i=0}^n{A}_i{l}_k^2(x_i)$。
因为${\int }_a^b\rho (x)l_k^2(x)\mathrm{d}x>0$，${\sum }_{i=0}^n{A}_i{l}_k^2(x_i)=A_k$，所以高斯求积系数A_k都为正，所以高斯型求积公式都是数值稳定的。

基于Taylor公式的数值微分公式

向前泰勒公式：$f(x+h)=f(x)+h{f}^{\prime }(x)+\frac{h^2}{2!}{f}^{\prime \prime }(x)+\frac{h^3}{3!}{f}^{\prime \prime \prime }(\xi )$
向后泰勒公式：$f(x-h)=f(x)-h{f}^{\prime }(x)+\frac{h^2}{2!}{f}^{\prime \prime }(x)-\frac{h^3}{3!}{f}^{\prime \prime \prime }(\xi )$
一阶向前差商公式：$f^{\prime }(x)\approx \frac{f(x+h)-f(x)}{h}-\frac{h}{2}{f}^{\prime \prime }(\xi )$
一阶向后差商公式：$f^{\prime }(x)\approx \frac{f(x)-f(x-h)}{h}+\frac{h}{2}{f}^{\prime \prime }(\xi )$
中心差商公式：$\frac{f(x+h)-f(x-h)}{2h}=f^{\prime }(x)+\frac{h^2}{3!}\frac{f^{\prime \prime \prime }(\xi )+f^{\prime \prime \prime }(\eta )}{2}$

单个方程的数值解

二分法

二分法可用于快速缩小方程f(x)=0的有根区间。
首先，设置一个有根区间。由介值定理可知，当f(a₀)f(b₀)<0时，[a₀,b₀]为f(x)=0的有根区间。
在第n次搜索时，若$f(a_{n-1})f(\frac{a_{n-1}+b_{n-1}}{2})<0$，则将搜索范围收缩至$[a_{n-1},\frac{a_{n-1}+b_{n-1}}{2}]$，反之则收缩至$[\frac{a_{n-1}+b_{n-1}}{2},b_{n-1}]$。
新的搜索区间则成为[a_n,b_n]，进行n次搜索后，二分法的误差估计式为$|x_n-x^{\ast }|\le \frac{b_0-a_0}{2^n}$。
若要求|x_n-x^*|≤ε，则搜索次数满足$n\ge {\log }_2\frac{b_0-a_0}{\epsilon }$，但至少要搜索$\mathrm{f}\mathrm{l}\mathrm{o}\mathrm{o}\mathrm{r}({\log }_2\frac{b_0-a_0}{\epsilon })$次可使误差≤ε。但答案一般是(n+1)。
美中不足的是，二分法不能求偶数重根或复根。

不动点迭代法

不动点迭代法的构造方式是将f(x)改写成x=φ(x)的形式，从而得到迭代公式x_k+1=φ(x)，φ(x)也被称为迭代函数。
在迭代公式中，若$\underset{k\to \infty }{\lim }{x}_k=x^{\ast }$，则迭代公式收敛，且原方程的根x*被称为φ(x)的不动点。

收敛性基本定理：若上述迭代公式中的迭代函数φ∈C[a,b]满足以下性质：
映内性：∀x∈[a,b]，φ(x)∈[a,b]
压缩性：∃压缩系数L∈(0,1)，使∀x_m,x_n∈[a,b]，|φ(x_m)-φ(x_n)|≤L|x_m-x_n|
则迭代公式具有以下性质：
（1）迭代函数φ(x)在[a,b]上存在唯一的不动点x*
（2）在[a,b]上无论选取什么初值，迭代公式最后都能收敛到x*
（3）迭代公式的误差估计式为$|x_k-x^{\ast }|\le \frac{L}{1-L}|x_k-x_{k-1}|$或$|x_k-x^{\ast }|\le \frac{L^k}{1-L}|x_1-x_0|$。

局部收敛性定理：设x*为φ的不动点，φ’(x)在x*的某个邻域内存在、连续且满足|φ’(x*)|<1，则迭代公式局部收敛。

收敛阶的判定

若函数f(x)满足f(x*)=f’(x*)=f’’(x*)=⋯=f^(n-1)(x*)=0，而f⁽ⁿ⁾(x*)≠0，则称x*是f(x)的n重根、n阶零点或f(x)在x*处n阶收敛。
若∃C≠0，p≥1，使$\underset{k\to +\infty }{\lim }|\frac{x_{k+1}-x^{\ast }}{(x_k-x^{\ast }{)}^p}|=C$，则定义该迭代公式p阶收敛，C为渐进误差常数。
在上式中，若p=1，则C<1时迭代公式才收敛。
对于迭代公式x_k+1=φ(x_k)，若φ’(x*)≠0则其一阶/线性收敛；若φ’(x*)=0、φ"(x*)≠0则其二阶收敛；若φ’(x*)=φ"(x*)=0、φ"’(x*)≠0则其三阶收敛⋯
由泰勒展开又可得f(x*)的误差估计式：x→x*时，$f(x)\approx \frac{f^{(n)}(\xi )}{n!}(x-x^{\ast }{)}^n=g(x)(x-x^{\ast }{)}^n$。
其中，ξ在x与x*之间，g(x*)≠0。

Newton迭代法

牛顿迭代法的迭代公式：$x_{k+1}=x_k-\frac{f(x_k)}{f^{\prime }(x_k)},x\in N$。
牛顿迭代公式在单根附近至少能保证2阶局部收敛，对于重根的收敛性则没那么好。
在重根附近，如果知道根的重数n，则可将牛顿迭代法改进为$x_{k+1}=x_k-n\cdot \frac{f(x_k)}{f^{\prime }(x_k)},x\in N$，使其保证2阶局部收敛。
但在实际应用中，往往不知道重根的重数。