如何理解泰勒公式?

  泰勒公式得名于英国数学家鲁克·泰勒，可以大致描述为：如果函数足够平滑，并且在已知函数在某一点的各阶导数值的情况下，函数在一个点的邻域内的值可以用函数在该点的值及各阶导数值组成的无穷级数表示出来。如果用一句话描述，就是用多项式去逼近光滑函数。
  泰勒公式最直接的应用就是近似计算，一阶泰勒展开式经常应用于机器学习的最优化算法，比如常见的梯度下降法。

泰勒公式的定义

  若函数$f(x)$在包含$x_0$的区间[a,b]上具有n阶导数，并且在开区间(a,b)上n+1次可导，那么对于闭区间[a,b]上的任意x都有：$$\begin{array}{rl}f(x)& =\frac{f(x_0)}{0!}+\frac{f^{\prime }(x_0)}{1!}(x-x_0)+\dots +\frac{f^{(n)}(x_0)}{n!}(x-x_0{)}^n+R_n(x)\\ & =\sum _{n=0}^N\frac{f^{(n)}(x_0)}{n!}(x-x_0{)}^n+R_n(x)\end{array}$$其中，$f^{(n)}(x_0)$表示$f(x)$的n阶导数。等号后的多项式称为函数$f(x)$在$x_0$处的泰勒展开式，剩余的$R_n(x)$叫做泰勒公式的余项，是$(x-x_0{)}^n$的高阶无穷小。
  常见的泰勒公式余项是拉格朗日余项，公式如下：
$$R_n(x)=\frac{f^{(n+1)}(\xi )}{(n+1)!}(x-x_0{)}^{n+1},x_0<\xi <x$$

  如果令上面泰勒公式中$x_0=0$的话，就是麦克劳林公式，即：$$\begin{array}{rl}f(x)& =\frac{f(0)}{0!}+\frac{f^{\prime }(0)}{1!}x+\dots +\frac{f^{(n)}(0)}{n!}{x}^n+R_n(x)\\ & =\sum _{n=0}^N\frac{f^{(n)}(0)}{n!}{x}^n+R_n(x)\end{array}$$

泰勒公式的推导

  我们知道，根据拉格朗日中值定理导出的有限增量定理有：
$$\underset{\Delta x\to 0}{\lim }(f(x_0+\Delta x)-f(x_0))=f^{\prime }(x_0)\Delta x$$
  于是：
  $$f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+\alpha$$

  其中误差$\alpha$是在$\Delta x\to 0$的前提下才趋向于0，所以在近似计算中往往不够精确。于是我们需要一个能够足够精确的且能估计出误差的多项式：$$P(x)=A_0+A_1(x-x_0)+A_2(x-x_0{)}^2+\dots +A_n(x-x_0{)}^n$$

来近似地表示函数$f(x)$且要写出其误差$f(x)-P(x)$的具体表达式。
  首先假设在一点$x_0$处，$P(x)$和$f(x)$的值是相等的，而且它们的相同阶导数值也是相等的，即函数$P(x)$满足下列等式：
$$\begin{array}{rl}P(x_0)& =f(x_0)\\ P^{\prime }(x_0)& =f^{\prime }(x_0)\\ P^{\prime \prime }(x_0)& =f^{\prime \prime }(x_0)\\ & \dots \\ P^{(n)}(x_0)& =f^{(n)}(x_0)\end{array}$$

  于是可以依次求出$A_0、A_1、A_2、\dots 、A_n$，显然有：
$$\begin{array}{rl}& P(x_0)=A_0，所以A_0=f(x_0)\\ & P^{\prime }(x_0)=A_1，所以A_1=f^{\prime }(x_0)\\ & P^{\prime \prime }(x_0)=2!A_2，所以A_2=\frac{f^{\prime \prime }(x_0)}{2!}；\\ & \dots \\ & P^{(n)}(x_0)=n!A_n，所以A_n=\frac{f^{(n)}(x_0)}{n!}\end{array}$$

  至此，多项式的各项系数都已求出，得：
$$P(x)=\frac{f(x_0)}{0!}+\frac{f^{\prime }(x_0)}{1!}(x-x_0)+\dots +\frac{f^{(n)}(x_0)}{n!}(x-x_0{)}^n$$

  以上就是函数的泰勒展开式。
  接下来就要求误差的具体表达式了，首先，令误差为：$$R_n(x)=f(x)-P(x)$$

  设$f(x)$在定义域内n+1阶可导，$R_n(x)$为$(x-x_0)$的n+1阶无穷小。若$x=x_0$，则：
$$R_n(x_0)=f(x_0)-P(x_0)=0$$

  进而：
$$R_n(x_0)=R_n^{\prime }(x_0)=R_n^{\prime \prime }(x_0)=\dots =R_n^{(n)}(x_0)=0$$

  根据柯西中值定理：
$$\begin{array}{rl}\frac{R_n(x)}{(x-x_0{)}^{n+1}}& =\frac{R_n(x)-0}{(x-x_0{)}^{n+1}-0}\\ & =\frac{R_n(x)-R_n(x_0)}{(x-x_0{)}^{n+1}-(x_0-x_0{)}^{n+1}}\\ & =\frac{R_n^{\prime }({\xi }_1)}{(n+1)({\xi }_1-x_0{)}^n}\end{array}$$

  其中${\xi }_1\in (x_0,x)$，继续使用柯西中值定理得到：
$$\begin{array}{rl}\frac{R_n^{\prime }({\xi }_1)}{(n+1)({\xi }_1-x_0{)}^n}& =\frac{R_n^{\prime }({\xi }_1)-0}{(n+1)({\xi }_1-x_0{)}^n-0}\\ & =\frac{R_n^{\prime }({\xi }_1)-R_n^{\prime }(x_0)}{(n+1)({\xi }_1-x_0{)}^n-(n+1)(x_0-x_0{)}^n}\\ & =\frac{R_n^{\prime \prime }({\xi }_2)}{n(n+1)({\xi }_2-x_0{)}^{n-1}}\end{array}$$

  其中${\xi }_2\in (x_0,{\xi }_1)$，继续使用n+1次柯西中值定理得到：
$$\frac{R_n(x)}{(x-x_0{)}^{n+1}}=\frac{R_n^{(n+1)}(\xi )}{(n+1)!}$$

  其中$\xi \in (x_0,{\xi }_n)$，而${\xi }_n\in (x_0,x)$，同时：
$$\begin{array}{r}{R}_n^{(n+1)}(x)=f^{(n+1)}(x)-P^{(n+1)}(x)\\ R_n^{(n+1)}(\xi )=f^{(n+1)}(\xi )-P^{(n+1)}(\xi )\end{array}$$

  而n次多项式$P(x)$的n阶导数$P^{(n)}(x)$ = 常数，所以$P^{(n+1)}(\xi )=0$

  进而：
$$R_n^{(n+1)}(\xi )=f^{(n+1)}(\xi )$$

  综上可得：
$$R_n(x)=\frac{f^{(n+1)}(\xi )}{(n+1)!}(x-x_0{)}^{n+1}$$