基本数学公式

1、泰勒公式

2、最优化方法

参考文章

负梯度下降法

泰勒公式的一阶展开：f(x)=f(h)+f`(h)(x-h)

作一个变换另x=x+h;那么原式变为f(x+h)=f(h)+f`(h)x;所以该式可以理解为在h的基础上移动距离x使得f(x+h)=f(h)+f`(h)x;结合我们的目的在h的基础上移动距离x使得max{f(x) - f(x+h)}。根据俩个向量内积公式：A·B = |A| × |B| × cosθ，那么如果想要f`(h)x得到负的极大值，那么只需x取f`(h)的反方向即可，所以该方法被称为负梯度下降法。