学习pytorch的小记录

原教程地址

PyTorch简明教程

1.PyTorch神经网络简介

1.1 计算梯度

那里是有一点不太明白的记录一下。
在调用loss.backward()之前，我们需要清除掉tensor里之前的梯度，否则会累加进去。

net.zero_grad()     # 清掉tensor里缓存的梯度值。

print('conv1.bias.grad before backward')
print(net.conv1.bias.grad)

loss.backward()

print('conv1.bias.grad after backward')
print(net.conv1.bias.grad)

这一段的

loss.backward()

这个语句的功能在学习的时候是不太明白的，以后懂了再来填坑

1.2 这一部分的可运行代码贴在下面

from __future__ import print_function
import torch
import torch.nn as nn
import torch.nn.functional as F
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        #输入是1个通道的灰度图，输出6个通道（feature map），使用5*5的卷积核
        self.conv1 = nn.Conv2d(1, 6, 5)
        # 第二个卷积层也是5x5，有16个通道
        self.conv2 = nn.Conv2d(6, 16, 5)
        # 全连接层
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        # 32x32 -> 28x28 -> 14x14
        x = F.max_pool2d(F.relu(self.conv1(x)),(2, 2))
        # 14x14 -> 10x10 -> 5x5
        x = F.max_pool2d(F.relu(self.conv2(x)),2)
        x = x.view(