一文详解梯度下降法,牛顿法,拟牛顿法

最优化是一种数学方法,它是研究在给定约束之下如何寻求某些因素,以使某一些指标达到最优的一些学科的总称.在机器学习中,大部分的机器学习算法的本质都是建立优化模型,通过最优化方法对目标函数(损失函数)进行优化,从而训练出最好的模型.梯度下降法,牛顿法和拟牛顿法是求解无约束最优化问题的常用方法.

梯度下降法

梯度下降法实现简单,当目标函数为凸函数时,梯度下降法的解是全局最优解.

梯度

梯度的定义: 函数在某一点的梯度是这样一个向量,它的方向与取得最大方向导数的方向一致(即函数沿梯度方向有最大的变化率),而它的模为方向导数的最大值.
1.梯度是一个向量
2.梯度的方向是最大方向导数的方向
3.梯度的值是最大方向导数的值
那么为什么下降最快的方向就是负梯度方向呢？下面我们李彤泰勒定理以及泰勒公式来证明。