今天复习了下pytorch,又看了下它的一个实例,复习了下对CIFAR数据集的分类。
学习链接:https://zhuanlan.zhihu.com/p/39667289
直接上源码,注释均在其中
import torch
import torch.nn as nn
import torch.nn.functional as F
import torchvision
import torchvision.transforms as transforms
# optim中定义了各种各样的优化方法,包括SGD
import torch.optim as optim
# ============================ step 1: 下载数据和准备数据 ============================
# cifar-10官方提供的数据集是用numpy array存储的
# 下面这个transform会把numpy array变成torch tensor,然后把rgb值归一到[0, 1]这个区间
transform = transforms.Compose(
[transforms.ToTensor(),
transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])
# 在构建数据集的时候指定transform,就会应用我们定义好的transform
# root是存储数据的文件夹,download=True指定如果数据不存在先下载数据
cifar_train = torchvision.datasets.CIFAR10(root='./data', train=True,
download=True, transform=transform)
cifar_test = torchvision.datasets.CIFAR10(root='./data', train=False,
transform=transform)
# 打印CIFAR10数据看一看,CIFAR10是一共10个类别,一个类别1000个图像,一共60000个图像,每个图像是32x32
print(cifar_train)
print(cifar_test)
# 指定遍历数据的方式,每一个batchsize=32,随机打乱后选取。
trainloader = torch.utils.data.DataLoader(cifar_train, batch_size=64, shuffle=True)
testloader = torch.utils.data.DataLoader(cifar_test, batch_size=64, shuffle=True)
# ============================ step 2: 定义训练器的模型 ============================
class LeNet(nn.Module):
# 一般在__init__中定义网络需要的操作算子,比如卷积、全连接算子等等
def __init__(self):
super(LeNet, self).__init__()
# Conv2d的第一个参数是输入的channel数量,第二个是输出的channel数量,第三个是kernel size
self.conv1 = nn.Conv2d(3, 6, 5)
self.conv2 = nn.Conv2d(6, 16, 5)
# 由于上一层有16个channel输出,每个feature map大小为5*5,所以全连接层的输入是16*5*5
self.fc = nn.Linear(16*5*5, 120)
self.fc2 = nn.Linear(120, 84)
# 最终有10类,所以最后一个全连接层输出数量是10
self.fc3 = nn.Linear(84, 10)
self.pool = nn.MaxPool2d(2, 2)
# forward这个函数定义了前向传播的运算,只需要像写普通的python算数运算那样就可以了
def forward(self, x):
# 特征提取,一般用卷积
x = self.pool(F.relu(self.conv1(x)))
x = self.pool(F.relu(self.conv2(x)))
# 下面这步把二维特征图变为一维,这样全连接层才能处理
x = x.view(-1, 16*5*5)
# 全连接层
x = F.relu(self.fc1(x))
x = F.relu(self.fc2(x))
x = self.fc3(x)
return x
net = LeNet() # 定义模型的实例
# ============================ step 3: 定义损失函数和优化器 ============================
# CrossEntropyLoss就是我们需要的损失函数
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)
# ============================ step 4: 定义训练步骤 ============================
print("Start Training...")
for epoch in range(30):
# 我们用一个变量来记录每100个batch的平均loss
loss100 = 0.0
# 我们的dataloader派上了用场
for i, data in enumerate(trainloader):
inputs, labels = data
# inputs, labels = inputs.to(device), labels.to(device) # 注意需要复制到GPU
optimizer.zero_grad() # 清空模型上一次训练残留的梯度值
outputs = net(inputs) # 对一个batch进行模型钱箱传播计算
loss = criterion(outputs, labels) # 进行损失值计算
loss.backward() # 损失值进行反向传播,求出模型各个部分的梯度值
optimizer.step() # 按照更新策略更新参数值
loss100 += loss.item()
if i % 100 == 99:
print('[Epoch %d, Batch %5d] loss: %.3f' %
(epoch + 1, i + 1, loss100 / 100))
loss100 = 0.0
print("Done Training!")
# ============================ step 5: 在测试集合上进行验证准确度 ============================
print("Start Testing!")
# 预测正确的数量和总数量
correct = 0
total = 0
# 使用torch.no_grad的话在前向传播中不记录梯度,节省内存
with torch.no_grad():
for data in testloader:
images, labels = data
# images, labels = images.to(device), labels.to(device)
# 预测
outputs = net(images)
# 我们的网络输出的实际上是个概率分布,去最大概率的哪一项作为预测分类
_, predicted = torch.max(outputs.data, 1)
total += labels.size(0)
correct += (predicted == labels).sum().item()
print('Accuracy of the network on the 10000 test images: %d %%' % (
100 * correct / total))
print("Done Testing!")