前言
梯度下降法（Gradient Descent）是机器学习中最常用的优化方法之一，常用来求解目标函数的极值。
其基本原理非常简单：沿着目标函数梯度下降的方向搜索极小值（也可以沿着梯度上升的方向搜索极大值）。
在《【Python机器学习】梯度下降法(一)》中简单分析了学习率大小对搜索过程的影响，发现：
【Python机器学习】梯度下降法(三) 优矿（uqer.io）
本文介绍了在梯度下降法中，学习率衰减因子（decay）的重要作用。通过分析，得出decay能有效减缓搜索过程中的震荡，控制步长以改善收敛效果。当decay增大，学习率衰减加快，有助于寻找更优解，但设置过大可能影响收敛到极值。起始学习率为1.0，实验显示decay为0.1时，50次迭代后学习率降至0.2。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
