Taylor Formula与Gradient Descent

Taylor Formula

泰勒公式，它的一般形式如下：

一般希望将复杂形式的函数用较为简单的方式来表示，另一种表述便是，用量上的复杂来解决质上的困难。
那为什么泰勒展开式是这种形式的？
上面说要用简单的形式表示复杂函数，那么如何选择表达式呢？类比切圆法，是不是可以用局部的线性近似来表示整体，假如有函数$y=x^3$，自变量的变化量为$\Delta x$，则：

$\Delta y=(x+\Delta x{)}^3-x^3=3x^2\Delta x+3x(\Delta x^2)+(\Delta x^3)$

假设在x的足够小的邻域内，即$\Delta x$–>0，按照局部近似的想法，舍去后两项即$\Delta x$的高阶无穷小项，

$\Delta y=3x^2\Delta x$

也就是说在自变量足够小的邻域内，$\Delta y$是可以用$\Delta x$的线性函数来表示的，从复杂函数表示为线性函数，形式上就简单很多了，整理有：

$\Delta y=f(x_0+\Delta x)-f(x_0)\approx f^{\prime }(x_0)\ast \Delta x$，$\Delta x=x-x_0$

即

$f(x)-f(x_0)=f^{\prime }(x_0)(x-x_0)$
$f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)$

上面提到这是舍掉了高阶无穷小的局部近似，假如希望能得到更高的精度，直觉的就是进行多阶的求导。上述公式称为一阶泰勒展开式，那么多阶泰勒展开式如何表示？

将上式再整理，$f(x)=f^{(0)}(x_0)(x-x_0{)}^{(0)}+f^{(1)}(x_0)(x-x_0{)}^{(1)}$，那么可以假设多阶泰勒展开式：

$f(x)=f^{(0)}(x_0)(x-x_0{)}^{(0)}+f^{(1)}(x_0)(x-x_0{)}^{(1)}+f^{(2)}(x_0)(x-x_0{)}^{(2)}$