随着学习的进行,深度学习的学习速率逐步下降 为什么比 固定的学习速率 得到的结果更加准确?
如上图所示,曲线代表损失值,小球一开始位于(1)处,假设学习速率设置为 △ v,那么根据梯度下降,损失值将在(1) (2)之间来回移动,无法到达最小值(3)处。要想到达(3),只能降低学习速率。
下面介绍 学习速率指数下降 公式:
公式中,learning_rate: 当前的学习速率
start_rate:最初的学习速率
decay_rate:每轮学习的衰减率,0<decay_rate<1