目录
1.算法目标
逐渐逼近损失函数 loss 的极小值,简单抽象为求函数的极小值。
2.算法描述
每次取一个增量,使得
,每次向函数值更小的地方前进一小步,多次迭代就能做到逐渐逼近函数
的极小值。
3.算法推导
展开 得到公式
。
其中H为海森矩阵,暂且不考虑。为使成立,只需要保证
。
即,当时,
,如此即可保证每次更新在逐渐逼近函数的极小值。其中
为学习率是一个较小的正数。
每次更新时做 操作,求得
的最小值。
4.注意
上述过程是在逼近极小值,不一定是函数的最小值。
是一种下降趋势,整个循环步骤中函数值
在下降,并非每个小步骤得到的函数值都比前一次要小。