1 梯度的定义
梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模)。
在单变量的实值函数的情况,梯度只是导数,或者,对于一个线性函数,也就是线的斜率。
(注意:梯度是一个向量)
梯度的方向是函数f增长最快的方向,梯度的反方向是f降低最快的方向;在远离最优解的时候梯度大,在靠近最优解的时候梯度小。
(注意:梯度是一个向量)
梯度的方向是函数f增长最快的方向,梯度的反方向是f降低最快的方向;在远离最优解的时候梯度大,在靠近最优解的时候梯度小。
2 梯度法思想
梯度法思想的三要素:出发点、下降方向、下降步长。图1表明了梯度下降的过程;
图1 梯度下降历程