本文探讨随机梯度下降与梯度下降的区别，解释两种方法在更新参数上的差异，并通过实例说明。梯度下降通过考虑所有样本的导数累加更新参数，而随机梯度下降则每次仅使用一个样本的导数进行更新。此外，还提到了随机梯度下降的动量优化策略。
如果你还不了解梯度下降请参考：知乎@Ai酱：{高中生能看懂的}梯度下降是个啥？。
随机梯度下降与梯度下降之间有什么区别？
假设你已经懂了梯度下降的原理与公式。接下来我会举个例子来讲随机梯度下降与梯度下降的区别。
假如损失（误差）函数对参数w的导数是 x ( w x − l a b e l ) x(wx - label) x(wx−label)，然后我们需要更新的参数是 w w w，学习率是 α \alpha α。
现在有一堆数据 ( x 1 , l a b e l 1 ) , ( x 2 , l a b e l 2 ) , ( x i , l a b e l i ) , ( x n , l a b e l n ) {(x_1,label_1),(x_2,label_2),(x_i,label_i),(x_n,label_n)} (x1,label1),(x2,label2
最低0.47元/天 解锁文章
扫一扫
1181
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
