泰勒公式

泰勒公式：

  用函数在某一点的各阶导数信息，构建一个近似的多项式函数。 等价于我们用一个多项式函数逼近一个给定的函数在某一点的取值。

 

如果函数 在 处有 阶导数，那么存在 的一个邻域，  对于该邻域内的任何一点 ,有

, 在  与 之间

 

应用

梯度下降法：

   误差函数，我们假设为,  假设我们在 处，下一步我们需要往哪走，才能保证是下降的？

 

转换成数学语言：目标是 最小，应该取什么值。

                               

 

所以我们要想 是 负数，这样 才能保证是减少的， 所以我们取

就可以使得上式不断减小，迭代，最终取得极小值。 存在取不到极小值的风险。

 

 

参考博客：

https://blog.csdn.net/u014115273/article/details/53218228