数值分析(1)-绪论:误差

整理一下数值分析的笔记~
目录：

1. 误差

2. 多项式插值与样条插值

3. 函数逼近

4. 数值积分与数值微分

5. 线性方程组的直接解法

6. 线性方程组的迭代解法

7. 非线性方程求根

8. 特征值和特征向量的计算

9. 常微分方程初值问题的数值解

---

1. 误差的分类和来源

模型误差：实际问题和对其进行抽象、简化后得到的数学模型之间存在的误差
观测误差：由于精度的限制，观察和测量时候产生 的误差
舍入误差：计算机字长的限制，所能表示的数只能有有限的位数，后面的部分按照不同的舍入规则舍去而产生的误差
截断/方法误差：得不到精确解的数学模型通常用数值方法求近似解，二者之间的误差。通常是用有限过程对无穷进行截断，比如，f(x)用泰勒公式近似替代如下：
$$P_n(x)=f(0)+\frac{f^{\prime }(0)}{1!}x+\frac{f^{\prime \prime }(0)}{1!}{x}^2+...+\frac{f^n(0)}{n!}{x}^n$$

则截断误差为

$$R_n(x)=f(x)-P_n(x)=\frac{f^{n+1}(\xi )}{(n+1)!}{x}^{n+1},其中\xi \in (0,x)。$$

2. 误差和误差限

定义1. 设x为准确值，$x^{\ast }$为x的一个近似值，称$E(x^{\ast })=x^{\ast }-x$为近似值的绝对误差，简称误差。

实际上，准确值x通常无法求得甚至未知，因此$E(x^{\ast })$往往也无法求得，只能知道其绝对值得某个上界$\epsilon (x^{\ast })\ge E(x^{\ast })=|x^{\ast }-x|$，数值$\epsilon (x^{\ast })$称为$x^{\ast }$的**(绝对)误差限**。
{一般地，凡是由准确值经过四舍五入得到的近似值，其绝对误差限等于该近似值末位的半个单位}

但是一个测量值的精确程度除了与绝对误差限有关外，还和该量的大小有关，由此引入相对误差限。

定义2. 设x为准确值，$x^{\ast }$为x的一个近似值，称$E_r(x^{\ast })=\frac{E(x^{\ast })}{x}=\frac{x^{\ast }-x}{x}$为近似值$x^{\ast }$的相对误差，简记为$E_r$，${\epsilon }_r(x^{\ast })\ge |E_r(x^{\ast })$为$x^{\ast }$的相对误差限。

两种误差限的关系：${\epsilon }_r=\frac{\epsilon }{|x^{\ast }|}$

eg. 已知e=2.71828182…，近似值$e^{\ast }$=2.71828，则$\epsilon =|e^{\ast }-e|=0.00000182...\le 0.000002=2\times 10^{-6},{\epsilon }_r=\frac{\epsilon }{|e^{\ast }|}\approx 0.71\times 10^{-6}$

3. 有效数字

定义3.若$x^{\ast }$作为x的近似值，其绝对误差的绝对值不超过某一位数字的半个单位，而该位数字到$x^{\ast }$的第一位非零数字共有n位，则称用$x^{\ast }$近似x时具有n位有效数字，简称$x^{\ast }$有n位有效数字。

有效数字与绝对误差限的关系

x的近似值$x^{\ast }$的规格化形式可以写为：

$$x^{\ast }=\pm 0.a_1{a}_2...a_k\times 10^m$$

其中m是整数，$a_i$是0-9中的一个数字且$a_1̸=0$，则$x^{\ast }=\pm 0.a_1{a}_2...a_k\times 10^m具有n位(n\le k)$有效数字当且仅当$|E|=|x^{\ast }-x|\le 0.5\times 10^{m-n}$。(可以看出有效数字越多，绝对误差越小)

有效数字与相对误差限的关系

x的近似值$x^{\ast }$的规格化形式可以写为：

$$x^{\ast }=\pm 0.a_1{a}_2...a_k\times 10^m,a_1̸=0$$

$x^{\ast }$有n位有效数字，则相对误差限:

$$e_r^{\ast }\le \frac{1}{2a_1}\times 10^{1-n}$$
反之，若$x^{\ast }$的相对误差限为

$$e_r^{\ast }\le \frac{1}{2(a_1+1)}\times 10^{1-n}$$

4. 数值运算的误差估计

$$\epsilon (x_1^{\ast }\pm x_2^{\ast })=\epsilon (x_1^{\ast })+\epsilon (x_2^{\ast })$$$$\epsilon (x_1^{\ast }{x}_2^{\ast })\approx |x_1^{\ast }|\epsilon (x_2^{\ast })+|x_2^{\ast }|\epsilon (x_1^{\ast })$$$$\epsilon (x_1^{\ast }/x_2^{\ast })\approx \frac{|x_1^{\ast }|\epsilon (x_2^{\ast })+|x_2^{\ast }|\epsilon (x_1^{\ast })}{|x_2^{\ast }{|}^2}$$

一般地，自变量有误差时，计算函数值也产生误差，误差限可利用函数的泰勒展开式进行估计，$\epsilon (f(x^{\ast }))=f(x)-f(x^{\ast })=f^{\prime }(x^{\ast })(x-x^{\ast })+\frac{f^{\prime \prime }(\xi )}{2}(x-x^{\ast }{)}^2,其中\xi 介于x和x^{\ast }之间$

取绝对值并假定$f^{\prime }(x^{\ast })$和$f^{\prime \prime }(x^{\ast })$比值不大，忽略$\epsilon (x^{\ast })$的高阶项，有：

$$\epsilon (f(x^{\ast }))\approx |f^{\prime }(x^{\ast })|\epsilon (x^{\ast })$$

多元函数同理。

5. 四则运算的稳定性问题

• 防止大数吃小数(计算机位数有限造成) $\to$求和时从小到大相加，可使和的误差减小
• 做减法时避免相近数相减$\to$使用有理化，三角变换等。
• 避免小数作除数和大数作乘数。

6. 提高算法效率问题

6.1 减少运算次数(比如多项式计算的秦九韶算法)

6.2 病态问题:

定义：对数学问题本身如果输入数据有微小扰动，引起输出数据的很大扰动，即病态问题。

比如：计算函数值f(x)，当x有扰动，$\delta =x-x^{\ast }$，相对误差$\frac{\delta }{x}$，函数值相对误差$\frac{f(x)-f(x^{\ast })}{f(x)}$，相对误差比值为$\frac{\frac{f(x)-f(x^{\ast })}{f(x)}}{\frac{\delta }{x}}\approx \frac{\frac{f^{\prime }(x)\delta }{f(x)}}{\frac{\delta }{x}}\approx \frac{x{f}^{\prime }(x)}{f(x)}=C_p$

$C_p$称为计算函数值问题的条件数。

从上面的计算中可以看出，如果条件数很大(通常自变量相对误差不会太大)将会引起函数值相对误差很大 ，此时出现病态问题。

---

{持续更新}
欢迎扫描二维码关注微信公众号 深度学习与数学   [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读，算法和其他互联网技能的学习，概率论、线性代数等高等数学知识的回顾]