文章探讨了在机器学习中，当类神经网络训练遇到停滞，损失函数不再下降时，如何通过自动调整学习率（如RMSProp）来优化训练过程。即使梯度不为零，但训练可能因学习率过大或过小而困于局部最优。RMSProp等方法旨在根据梯度的大小动态调节学习率，使参数在梯度大时移动得慢，在梯度小时移动得快，从而更有效地寻找损失最小点。
李宏毅《机器学习2021》类神经网络训练不起来怎么办（三）：自动调整学习率（Adaptive Learning rate）
YouTube：https://www.youtube.com/watch?v=HYUXEeh3kwY&list=PLJV_el3uVTsMhtt7_Y6sgTHGHp1Vb2P2J&index=6
Training stuck 
Small Gradient
如下图，虽然Loss不再下降，但Gradient的值并不一定就很小，很多时候还没到critical point，训练就停止了，此时Gradient可能在来回震荡。
即使不在critical points，训练也可能十分困难。比如下图，下图Loss的等高线是一个椭圆形，在参数b方向梯度较小，在参数w方向梯度更大，打叉的点是Loss最小的点，黑色圆点是初始位置。
当固定的学习率较大时，左下图可以看到，随着参数的更新，Loss在两边震荡，无法达到最小点。
当固定的学习率较小时，右下图可以看到，随着参数的更新，Loss慢慢达到椭圆的底部，但在底部时向着Loss最小点的变动极为小。
这时候我们就想，能不能通过调整学习率，使得参数在梯度较大时移动的更小，在梯度较小时移动的更大。
Root Mean Square（均方根）
RMSProp
Learning Rate Scheduling
Summary of Optimization
扫一扫
25万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
