Linear Approximation and Newton's Method（线性近似和牛顿法）

今天讲导数的两则应用，第一是求函数f在x点附近的近似值，即$f_{(x)}$的近似值。第二项应用是解方程，为了区别，第一项应用中的函数用$f$表示，第二项中用$F$表示。两种应用都基于同样的思想。

1. Linear Approximation(Find $f_{(x)}$)

假设x轴上存在一点a，在x点附近，且已知$f_{(a)}$和该处的斜率，即导数${f^{\prime }}_{(a)}$，估算目标值即$f_{(x)}$。

通过已知：

• a点值
• $f_{(a)}$值
• ${f^{\prime }}_{(a)}$值

去逼近目标值即$f_{(x)}$。

1.1公式推导

已知导数的定义为：
$$\frac{df}{dx}={f^{\prime }}_{(a)}=\underset{x\to a}{\lim }\frac{f_{(x)}-f_{(a)}}{x-a}$$
当x不断趋近于a时，左右两边也越来越接近，即a点到目标点x函数的平均斜率越来越接近$f_{(a)}$处的瞬时斜率，而当右边的式子取极限后，两边相等，这就是导数的定义。而如果不取极限，两边就不相等，则要把等于号变成约等号：
$$\frac{df}{dx}={f^{\prime }}_{(a)}\approx \frac{f_{(x)}-f_{(a)}}{x-a}$$
我们可以通过上面的这种约等近似，用来估算$f_{(x)}$的真实值。所以化解得到：
$$f_{(x)}\approx f_{(a)}+(x-a){f^{\prime }}_{(a)}$$

下面有几点说明：

• 上面的公式的图像是线性的（直线)
• 这条线性直线从点x=a处对应的函数值开始，斜率与f函数相同，即为${f^{\prime }}_{(a)}$。如果我们选取的a点离目标点距离较近，则这条直线上的值和真实的f函数上的值也很接近。

如果想求解某f函数上某点处的函数值$f_{(x)}$，但直接求解不便，则可使用上面的线性近似公式。下面是一些实际应用的例子。

1.2 应用实例

1.2.1 Case One

求$\sqrt{9.06}$的值。

这里函数为：$f_{(x)}=\sqrt{x}=x^{1/2}$，则$f_{(x)}^{\prime }=\frac{1}{2\sqrt{x}}$，$x=9.06$
解：

• 如果选择a=9，接近9.06，方便计算
• $f_{(a)}=\sqrt{a}=3$
• $f_{(a)}^{\prime }=\frac{1}{2\sqrt{a}}=\frac{1}{6}$

将上面的结果带入下式中:
$$f_{(x)}\approx f_{(a)}+(x-a){f^{\prime }}_{(a)}$$

得到：

$$\sqrt{9.06}\approx 3+(9.06-9)\ast \frac{1}{6}=3.01$$

1.2.1 Case Two

求$e^{0.01}$的值

依题可知，$f_{(x)}=e^x,x=0.01$，且$f_{(x)}^{\prime }=e^x$
解：

• 选择a=0，接近0.01
• $f_{(a)}=e^0=1$
• $f_{(a)}^{\prime }=e^0=1$

将上面的结果带入下式中，
$$f_{(x)}\approx f_{(a)}+(x-a){f^{\prime }}_{(a)}$$

得到：
$$f_{(x)}\approx 1+(0.01-0)\ast 1=1.01$$

1.3 线性近似总结

采用case 2，未带入$x$值之前：
$$f_{(x)}\approx 1+x$$
是否很熟悉？这就是$e^x$按照幂级数展开式的前两项，常数项和线性项。

• $e^x$按照幂级数展开，后面的各个高阶项，都是高阶修正，以缩小近似值和实际值的偏差
• 所以说，线性近似与幂级数展开原理类似，比如$e^x=1+x+\frac{x^2}{2}+...$ 为幂级数展开，而线性近似，相当于是只保留了幂级数的常数项和线性项，后面的更高阶的项全部丢弃的结果
• 这里可以先简单看一下，后面的高阶项，比如包含了二阶项的近似如下：
  $$f_{(x)}\approx f_{(a)}+(x-a){f^{\prime }}_{(a)}+\frac{1}{2}(x-a{)}^2{f}_{(a)}^{\prime \prime }...$$

2. Newton’s Method (Solve $F_{(x)}=0$)

• 这是牛顿给出的求近似解的方法
• 假设存在一点a，在函数$F_{(x)}=0$的解的附近，且知道函数在x=a点处的斜率，即导数值${F^{\prime }}_{(a)}$，求$F_{(x)}=0$的近似解。

2.1 公式推导

通过已知：

• a点值
• $F_{(x)}$=0
• ${F^{\prime }}_{(a)}$值
• $F_{(a)}$值

去逼近目标值—— $F_{(x)}=0$的解，即$x$

依然采用不取极限的线性近似的公式（为了和上面区别，将函数的表示变化为F）：
$$\frac{df}{dx}={F^{\prime }}_{(a)}\approx \frac{F_{(x)}-F_{(a)}}{x-a}$$

但这次求解的是$x$，所以变化得到：
$$x-a\approx \frac{-F_{(a)}}{{F^{\prime }}_{(a)}}$$

2.2 应用实例

求 $F_{(x)}=x^2-9.06=0$ 的解, 即求$x=\sqrt{9.06}$

由题可知：
$F_{(x)}^{\prime }=2x$
解：

• 选择a=3，接近$F$函数的解附近
• $F_{(x)}$=0
• ${F^{\prime }}_{(a)}=2a=6$
• $F_{(a)}=a^2-9.06=3^2-9.06=-0.06$

将上面的值带入下面的公式中

$$x-a\approx \frac{-F_{(a)}}{{F^{\prime }}_{(a)}}$$

得到：
$$x-3\approx -\frac{-0.06}{6}$$
化解得到：
$$x=3.01$$

反向计算得到，$3.01^2=9.0601$ ，则这样估算的精度还可以。

继续求 $F_{(x)}=x^2-9.06=0$的解 ，方法与前面的方法一致，但这次令$a=3.01$

解：

• 选择a=3.01
• $F_{(x)}$=0
• ${F^{\prime }}_{(a)}=2a=6.02$
• $F_{(a)}=a^2-9.06=3.01^2-9.06=0.001$

将上面的值带入下面的公式中

$$x-a\approx \frac{-F_{(a)}}{{F^{\prime }}_{(a)}}$$

得到：
$$x-3.01\approx -\frac{0.001}{6.02}$$
化解得到：
$$x=3.009833$$
通过计算器计算得到：$\sqrt{9.06}=3.0099833$，可见修改$a$的值后，再次利用牛顿法进行二次估计，计算得到的$x$值更加精确。

2.3 牛顿法总结

牛顿法是一个伟大的成功，沿着切线逼近之后，再沿着另一条切线逼近，很快就能得到精准的答案。

引用

本文主要参考下列视频内容，翻译并整理笔记后形成此文，感谢视频作者的无私奉献！

• [微积分重点之微分学][MIT][Strang]08_线性近似和牛顿法