梯度下降法描述
梯度下降法是为了找到最优的目标函数,寻找的过程就是沿着损失函数下降的方向来确定参数变化的方向。参数更新的过程就是一个不断迭代的过程,每次更新参数学到的函数都会使得误差损失越来越小,也就是说学习到的参数函数越来越逼近最优函数。
参数的更新是按照损失函数的等高线的方向进行的。
梯度下降是一阶导数,梯度下降是用平面来逼近局部。
牛顿法是二阶导数,牛顿法是用曲面逼近局部。
梯度下降法调整学习速率
可视化:参数更新的变化与损失的变化情况。蓝色线表示的是学习率太小,导致损失下降太慢。绿色线表示的是学习速率变大,损失很快就变小,但是后面有卡住了,损失不在变化。黄色线表示的是学习速率太大,直接导致损失爆炸。红色的线是理想的学习速率。
一般情况,在刚开始的时候,可以设置比较大的学习速率,这样可以快速接近最优的函数。经过几epochs后,我们会接近最优的函数,这时可以降低学习速率,来确定最终的参数。
不同的参数不同的学习速率。
梯度下降法Adagrad调整学习速率