def sgd(params, lr, batch_size): #@save
"""小批量随机梯度下降"""
with torch.no_grad(): # 被该语句wra 起来的部分将不会跟踪梯度
for param in params:
param -= lr * param.grad / batch_size
param.grad.zero_()
这个问题我看到论坛也有人在问,但是大神回答说自己跑一遍代码就会了,我想这个东西只可意会,不可言传,于是我动手算了一波,这次算是真正理解了。
为了方便各位学习,我就把计算过程展示在这里,大家就不用自己去苦思冥想了。
这里先写一个示例:
import torch
X = torch.tensor([[1.0, 2.0], [2.0, 3.0], [3.0, 4.0]])
w = torch.tensor([[1.0], [2.0]], dtype=torch.float32, requires_grad=True)
b = torch.tensor([0.0], requires_grad=True)
y = torch.tensor([[0.0], [1.0], [2.0]])
y_hat = torch.matmul(X, w) + b
l = (y_hat - y)**2 / 2
l.sum().backward()
print(w.grad)
print(b.grad)
运行结果是:
tensor([[46.],
[67.]])
tensor([21.])
计算过程如下:(公式计算部分,感谢评论区一位朋友的纠正)
从上图计算过程可以看出,params.grad 其实是batch中所有样本的grad总和,所以这个时候除以batch_size就是相当于取一个平均值,这样就算下一次传入的batch_size改变了,最后也不会影响得到的平均数。