torch.optim.SGD参数详解（除nesterov）

不牌不改

已于 2022-04-28 22:15:40 修改

阅读量3w

点赞数 51

分类专栏：【Pytorch学习】文章标签：机器学习深度学习 pytorch

于 2022-01-22 22:31:19 首次发布

本文链接：https://blog.csdn.net/weixin_46221946/article/details/122644487

版权

13 篇文章 5 订阅 ¥29.90 ¥99.00

订阅专栏

torch.optim.SGD(params, lr=<required parameter>, momentum=0, dampening=0, weight_decay=0, nesterov=False)：随机梯度下降

【我的理解】虽然叫做“随机梯度下降”，但是本质上还是还是实现的批量梯度下降，即用全部样本梯度的均值更新可学习参数。

这里所说的全部样本可以是全部数据集，也可以是一个batch，为什么这么说？因为计算梯度是调用backward函数计算的，而backward函数又是通过损失值张量调用的，损失值的计算和样本集的选取息息相关。如果每次都使用全部样本计算损失值，那么很显然调用SGD时也就是用全部的样本梯度的均值去更新可学习参数，如果每次使用一个batch的样本计算损失值，再调用backward，那么调用SGD时就会用这个batch的梯度均值更新可学习参数。
params：要训练的参数，一般我们传入的都是model.parameters()。
lr：learning_rate学习率，会梯度下降的应该都知道学习率吧，也就是步长。
weight_decay（权重衰退）和learning_rate（学习率）的区别

learning_rate就是我们熟知的更新权重的方式，假设可学习参数为

了解本专栏

关注