原文链接： https://pytorch.org/tutorials/beginner/blitz/cifar10_tutorial.html#sphx-glr-beginner-blitz-cifar10-tutorial-py
数据处理
通常，我们处理的数据有图像、文本、音频或者视频数据，可以使用python的标准包将数据加载到numpy数组中，然后将此数组转换为torch.*Tensor。
- 对于图像，
Pillow，OpenCV等软件包很有用 - 对于音频，请使用
scipy和librosa等软件包 - 对于文本，基于
python或Cython的原始加载，或NLTK和SpaCy很有用
对于视觉领域，pytorch已经创建了一个叫做torchvision的数据加载器torchvision.datasets和torch.utils.data.DataLoader，它可以很好的加载普通数据集，如Imagenet，CIFAR10，MNIST等。
这样给编程提供了极大的便利，避免了重复编写同样的代码。
现在以CIFAR10数据集为例讲解，它具有的类别为：“飞机”，“汽车”，“鸟”，“猫”，“鹿”，“狗”，“青蛙”，“马”，“船”，“卡车”。CIFAR-10中的图像尺寸为3x32x32，即尺寸为32x32像素的3通道彩色图像。
训练图像分类器
按照以下步骤进行：
- 使用以下命令
torchvision加载和标准化CIFAR10训练和测试数据集 - 定义卷积神经网络
- 定义损失函数
- 根据训练数据训练网络
- 在测试数据上测试网络
1、加载并标准化CIFAR10
使用torchvision加载CIFAR10非常容易。
import torch
import torchvision
import torchvision.transforms as transforms
torch对图像的数据集输出的是范围为[0, 1]的PILImage图像。我们将他们归一化为[-1, 1]的张量。
transform = transforms.Compose(
[transforms.ToTensor(),
transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])
trainset = torchvision.datasets.CIFAR10(root='./data', train=True,
download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4,
shuffle=True, num_workers=2)
testset = torchvision.datasets.CIFAR10(root='./data', train=False,
download=True, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=4,
shuffle=False, num_workers=2)
classes = ('plane', 'car', 'bird', 'cat',
'deer', 'dog', 'frog', 'horse', 'ship', 'truck')
如果在windows下运行或者出现BrokenPipeError，那么将torch.utils.data.DataLoader()的num_workers赋值为0.
看下我们训练的图片
import matplotlib.pyplot as plt
import numpy as np
# functions to show an image
def imshow(img):
img = img / 2 + 0.5 # unnormalize
npimg = img.numpy()
plt.imshow(np.transpose(npimg, (1, 2, 0)))
plt.show()
# get some random training images
dataiter = iter(trainloader)
images, labels = dataiter.next()
# show images
imshow(torchvision.utils.make_grid(images))
# print labels
print(' '.join('%5s' % classes[labels[j]] for j in range(4)))
输出：
bird deer car car
2、定义一个卷积神经网络
从上节课中“神经网络”代码中复制代码，然后修改输入的通道数，因为图像的输入为3通道，固第一个卷积核的通道数要改。
import torch.nn as nn
import torch.nn.functional as F
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.conv1 = nn.Conv2d(3, 6, 5)
self.pool = nn.MaxPool2d(2, 2)
self.conv2 = nn.Conv2d(6, 16, 5)
self.fc1 = nn.Linear(16 * 5 * 5, 120)
self.fc2 = nn.Linear(120, 84)
self.fc3 = nn.Linear(84, 10)
def forward(self, x):
x = self.pool(F.relu(self.conv1(x)))
x = self.pool(F.relu(self.conv2(x)))
x = x.view(-1, 16 * 5 * 5)
x = F.relu(self.fc1(x))
x = F.relu(self.fc2(x))
x = self.fc3(x)
return x
net = Net()
3、定义损失函数和优化器
我们使用的是CrossEntropyLoss损失函数和带动量的SGD梯度下降法。
import torch.optim as optim
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)
4、训练网络
这时候事情开始变得有趣了，我们只需要遍历数据迭代器，然后将输入反馈到网络并进行优化。
for epoch in range(2): # loop over the dataset multiple times
running_loss = 0.0
for i, data in enumerate(trainloader, 0):
# get the inputs; data is a list of [inputs, labels]
inputs, labels = data
# zero the parameter gradients
optimizer.zero_grad()
# forward + backward + optimize
outputs = net(inputs)
loss = criterion(outputs, labels)
loss.backward()
optimizer.step()
# print statistics
running_loss += loss.item()
if i % 2000 == 1999: # print every 2000 mini-batches
print('[%d, %5d] loss: %.3f' %
(epoch + 1, i + 1, running_loss / 2000))
running_loss = 0.0
print('Finished Training')
输出：
[1, 2000] loss: 2.174
[1, 4000] loss: 1.853
[1, 6000] loss: 1.670
[1, 8000] loss: 1.568
[1, 10000] loss: 1.523
[1, 12000] loss: 1.477
[2, 2000] loss: 1.404
[2, 4000] loss: 1.380
[2, 6000] loss: 1.355
[2, 8000] loss: 1.327
[2, 10000] loss: 1.326
[2, 12000] loss: 1.285
Finished Training
快速保存我们训练好的模型：
PATH = './cifar_net.pth'
torch.save(net.state_dict(), PATH)
更多保存模型的方法here
5、在测试数据上测试网络
我们已经在训练集上对网络进行了2次训练，但是我们需要检查网络是否学到东西。
我们将通过预测神经网络输出的类别标签和实际的标签进行比较，如果预测正确，则将样本添加到正确预测的列表当中。
第一步，让我们显示测试集中的图像。
dataiter = iter(testloader)
images, labels = dataiter.next()
# print images
imshow(torchvision.utils.make_grid(images))
print('GroundTruth: ', ' '.join('%5s' % classes[labels[j]] for j in range(4)))
输出：
GroundTruth: cat ship ship plane
接下来让我们重新加载保存的模型（注意：这里不需要保存和重新加载模型，只是说明如何这样做）
net = Net()
net.load_state_dict(torch.load(PATH))
看看神经网络如何看待上面的图片的
outputs = net(images)
神经网络的输出为10类的预测概率，哪一类预测的概率越高，网络就认定该图像属于特定的类别。
_, predicted = torch.max(outputs, 1)
print('Predicted: ', ' '.join('%5s' % classes[predicted[j]]
for j in range(4)))
输出：
Predicted: cat ship ship ship
结果还不错，接下来看一下网络在整个数据集上的表现。
correct = 0
total = 0
with torch.no_grad():
for data in testloader:
images, labels = data
outputs = net(images)
_, predicted = torch.max(outputs.data, 1)
total += labels.size(0)
correct += (predicted == labels).sum().item()
print('Accuracy of the network on the 10000 test images: %d %%' % (
100 * correct / total))
输出为：
Accuracy of the network on the 10000 test images: 54 %
看起来似乎不错，接下来我们看看在哪些数据上表现好，在哪些数据上表现不好：
class_correct = list(0. for i in range(10))
class_total = list(0. for i in range(10))
with torch.no_grad():
for data in testloader:
images, labels = data
outputs = net(images)
_, predicted = torch.max(outputs, 1)
c = (predicted == labels).squeeze()
for i in range(4):
label = labels[i]
class_correct[label] += c[i].item()
class_total[label] += 1
for i in range(10):
print('Accuracy of %5s : %2d %%' % (
classes[i], 100 * class_correct[i] / class_total[i]))
输出：
Accuracy of plane : 59 %
Accuracy of car : 75 %
Accuracy of bird : 44 %
Accuracy of cat : 42 %
Accuracy of deer : 17 %
Accuracy of dog : 25 %
Accuracy of frog : 69 %
Accuracy of horse : 68 %
Accuracy of ship : 77 %
Accuracy of truck : 63 %
接下来讲解如何在GPU上运行这些神经网络。
在GPU上训练
就像将Tensor转移到GPU一样，也可以将神经网络转移到GPU上。
如果我们有可用的CUDA，首先我们将设备定义为第一个可见的cuda设备：
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
# Assuming that we are on a CUDA machine, this should print a CUDA device:
print(device)
输出：
cuda:0
本节的其余部分假定这device是CUDA设备。
然后，这些方法将递归遍历所有模块，并将其参数和缓冲区转换为CUDA张量：
net.to(device)
请记住，还必须将每一步的输入和标签也发送到GPU中：
inputs, labels = data[0].to(device), data[1].to(device)
在多个GPU上训练
如果想使用所有GPU来获得更大规模加速，请查看：数据并行性。
接下来可以干更多的事情：
2114
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
