1.动量法
目标:改进梯度下降算法存在的问题,即见效振荡,加速通向谷底。
改进思想:利用累加历史梯度信息更新梯度。
优势:可以冲出局部最小点和鞍点,找到最优解。
2.自适应梯度
思想:减小振荡方向步长,增大平坦方向步长来减小振荡,加速通往谷底。
3Adam
1.动量法
目标:改进梯度下降算法存在的问题,即见效振荡,加速通向谷底。
改进思想:利用累加历史梯度信息更新梯度。
优势:可以冲出局部最小点和鞍点,找到最优解。
2.自适应梯度
思想:减小振荡方向步长,增大平坦方向步长来减小振荡,加速通往谷底。
3Adam