梯度下降法理解

原理：取梯度方向增长最快的负方向就是梯度下降最快的方向。
梯度下降法是一种常用的一阶优化方法，是求解无约束优化问题最简单，最经典的方法之一。
梯度下降法可以最小化任意函数。
注：梯度下降法是所有神经网络优化算法的基石，其它的优化算法都是在此基础上不断优化。
核心问题：梯度下降法要解决的问题是如何避免找到局部最优解。
知识点：
泰勒展开式的目标：
在误差允许的前提下，我们用多项式(简单函数)来近似代替复杂函数，使得复杂函数的应用更加方便。
注：泰勒展开式和傅里叶变换比较相似，都是用多个多项式逼近复杂函数。
参考链接：
https://www.cnblogs.com/huangyc/p/9801261.html
https://blog.csdn.net/qq_41398808/article/details/90442685
https://blog.csdn.net/qq_38646027/article/details/88014692