Pytorch的简单理解

创建一个矩阵：

没有初始化

x = torch.empty(5, 3)

有初始化

x = torch.rand(5, 3)

全零矩阵并可指定数据元素的类型为long

x = torch.zeros(5, 3, dtype=torch.long)

通过数据创建张量

x = torch.tensor([2.5, 3.5])

通过已有的一个张量创建相同尺寸的新张量

    # 利用news_methods方法得到一个张量
    x = x.new_ones(5, 3, dtype=torch.double)
    # 利用randn_like方法得到相同张量尺寸的一个新张量, 并且采用随机初始化来对其赋值
    y = torch.randn_like(x, dtype=torch.float)

关于torch.Tensor

• torch.Tensor是整个package中的核心类, 如果将属性.requires_grad设置为True, 它将追踪在这个类上定义的所有操作. 当代码要进行反向传播的时候, 直接调用.backward()就可以自动计算所有的梯度. 在这个Tensor上的所有梯度将被累加进属性.grad中.

• 如果想终止一个Tensor在计算图中的追踪回溯, 只需要执行.detach()就可以将该Tensor从计算图中撤下, 在未来的回溯计算中也不会再计算该Tensor.

• 除了.detach(), 如果想终止对计算图的回溯, 也就是不再进行方向传播求导数的过程, 也可以采用代码块的方式with torch.no_grad():, 这种方式非常适用于对模型进行预测的时候, 因为预测阶段不再需要对梯度进行计算.

定义一个简单的网络类

# 导入若干工具包
import torch
import torch.nn as nn
import torch.nn.functional as F
​
​
# 定义一个简单的网络类
class Net(nn.Module):
​
    def __init__(self):
        super(Net, self).__init__()
        # 定义第一层卷积神经网络, 输入通道维度=1, 输出通道维度=6, 卷积核大小3*3
        self.conv1 = nn.Conv2d(1, 6, 3)
        # 定义第二层卷积神经网络, 输入通道维度=6, 输出通道维度=16, 卷积核大小3*3
        self.conv2 = nn.Conv2d(6, 16, 3)
        # 定义三层全连接网络
        self.fc1 = nn.Linear(16 * 6 * 6, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)
​
    def forward(self, x):
        # 在(2, 2)的池化窗口下执行最大池化操作
        x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
        x = F.max_pool2d(F.relu(self.conv2(x)), 2)
        x = x.view(-1, self.num_flat_features(x))
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x
​
    def num_flat_features(self, x):
        # 计算size, 除了第0个维度上的batch_size
        size = x.size()[1:]
        num_features = 1
        for s in size:
            num_features *= s
        return num_features
​
​
net = Net()
print(net)

反向传播(backpropagation)

# Pytorch中执行梯度清零的代码
net.zero_grad()
​
print('conv1.bias.grad before backward')
print(net.conv1.bias.grad)
​
# Pytorch中执行反向传播的代码
loss.backward()
​
print('conv1.bias.grad after backward')
print(net.conv1.bias.grad)xxxxxxxxxx # Pytorch中执行梯度清零的代码net.zero_grad()print('conv1.bias.grad before backward')print(net.conv1.bias.grad)•# Pytorch中执行反向传播的代码loss.backward()•print('conv1.bias.grad after backward')print(net.conv1.bias.grad)# Pytorch中执行梯度清零的代码

更新网络参数

# 首先导入优化器的包, optim中包含若干常用的优化算法, 比如SGD, Adam等
import torch.optim as optim

# 通过optim创建优化器对象
optimizer = optim.SGD(net.parameters(), lr=0.01)

# 将优化器执行梯度清零的操作
optimizer.zero_grad()

output = net(input)
loss = criterion(output, target)

# 对损失值执行反向传播的操作
loss.backward()
# 参数的更新通过一行标准代码来执行
optimizer.step()