x.requires_grad = True
#Variable 正式合并入Tensor, Variable 本来实现的自动微分功能,Tensor就能支持。读者还是可以使用Variable(tensor), 但是这个操作其实什么都没做。建议读者以后直接使用tensor
output=net(input)
criterion=nn.MSELoss()
loss=criterion(output,target)
net.zero_grad() # 把net中所有可学习参数的梯度清零
print(‘反向传播之前 conv1.bias的梯度’)
print(net.conv1.bias.grad)
loss.backward()
print(‘反向传播之后 conv1.bias的梯度’)
print(net.conv1.bias.grad)
t.set_num_threads(8)
for epoch in range(2):
running_loss = 0.0
for i, data in enumerate(trainloader, 0):
# 输入数据
inputs, labels = data
# 梯度清零
optimizer.zero_grad()
# forward + backward
outputs = net(inputs)
loss = criterion(outputs, labels)
loss.backward()
# 更新参数
optimizer.step()
# 打印log信息
# loss 是一个scalar,需要使用loss.item()来获取数值,不能使用loss[0]
running_loss += loss.item()
if i % 2000 == 1999: # 每2000个batch打印一下训练状态
print('[%d, %5d] loss: %.3f' \
% (epoch+1, i+1, running_loss / 2000))
running_loss = 0.0
print(‘Finished Training’)