PyTorch的主要功能和特点之一就是backword函数。
在学习沐神的 《动手学深度学习》 课程中的 3.2节 线性回归的从零实现,当阅读到以下代码:
lr = 0.001
loss = lin_loss
num_epochs = 100
net = lin_reg
for epoch in range(num_epochs):
for X, y in get_batch(batch_size, feature, label):
l = lin_loss(net(X, w, b), y) # X和y的⼩批量损失
# 因为l形状是(batch_size,1),⽽不是⼀个标量。l中的所有元素被加到⼀起,
# 并以此计算关于[w,b]的梯度
l.sum().backward()
sgd([w, b], lr, batch_size) # 使⽤参数的梯度更新参数
with torch.no_grad():
train_l = lin_loss(net(feature, w, b), label)
print(f'epoch {epoch + 1}, loss {float(train_l.mean()):f}')
#print(train_l.requires_grad)
使用l.sum()再进行backward自动求导。
对其中的的 l.sum().backward() 并不是很理解,对损失函数求导即可,为什么要先求和再求导。
此外还有一种方法可以解决直接对张量进行求导报错的问题:<