这篇博客探讨了在大规模样本情况下，批量梯度下降法的效率问题，并介绍了随机梯度下降法作为改进策略。文章通过公式展示了随机梯度下降法如何每次仅使用一个样本进行迭代，并解释了其可能导致的非直线下降路径。为了提高精度，作者提出了η值随迭代次数减少的策略。随后，博客分别展示了手动编程实现和使用sklearn库的随机梯度下降法过程。
之前这种梯度下降法又称为批量梯度下降法（Batch Gradient Descent）
梯度下降法每次求梯度都需要将所有的样本代入进行运算，当样本的数量较大时，耗费的时间将会很多。为了改进，提出了随机梯度下降法。它采用的公式如下，即每次只取1个样本进行运算。由于是随机的，所以不能保证每次损失函数都能是下降的趋势。
由于我们使用的是随机梯度下降法，所以导致我们的最终结果不会像批量梯度下降法一样准确的朝着一个方向运算，而是曲线行下降。这时候我们就希望，越到下面，η值相应减小，事运算次数变多，从而精确计算结果。此时我们可以考虑η = 1 / 迭代次数。但是这种实现可能有时候有问题，比如当循环次数比较少的时候η值下降的太快，故可以在分母上加上一个常数b缓解情况，防止初始时η下降太快，让分子也取常数a能使效果好点。（在此取经验值a = 5，b = 50）
最低0.47元/天 解锁文章
1554
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
