包导入
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
from torchvision import datasets, transforms
# torchvision是独立于pytorch的关于图像操作的一些方便工具库。
# torchvision的详细介绍在:https://pypi.org/project/torchvision/0.1.8/
# torchvision主要包括一下几个包:
# vision.datasets : 几个常用视觉数据集,可以下载和加载
# vision.models : 流行的模型,例如 AlexNet, VGG, and ResNet 以及 与训练好的参数。
# vision.transforms : 常用的图像操作,例如:随机切割,旋转等。
# vision.utils : 用于把形似 (3 x H x W) 的张量保存到硬盘中,给一个mini-batch的图像可以产生一个图像格网。
print("PyTorch Version: ",torch.__version__)
首先我们定义一个基于ConvNet的简单神经网络
1、加载数据(顺序调整一下)
torch.manual_seed(53113) #cpu随机种子
#没gpu下面可以忽略
use_cuda = torch.cuda.is_available()
device = torch.device("cuda" if use_cuda else "cpu")
batch_size = test_batch_size = 32
kwargs = {
'num_workers': 1, 'pin_memory': True} if use_cuda else {
}
#torch.utils.data.DataLoader在训练模型时使用到此函数,用来把训练数据分成多个batch,
#此函数每次抛出一个batch数据,直至把所有的数据都抛出,也就是个数据迭代器。
train_loader = torch.utils.data.DataLoader(
datasets.MNIST('./mnist_data',
train=True, #如果true,从training.pt创建数据集
download=True, #如果ture,从网上自动下载
#transform 接受一个图像返回变换后的图像的函数,相当于图像先预处理下
#常用的操作如 ToTensor, RandomCrop,Normalize等.
#他们可以通过transforms.Compose被组合在一起
transform=transforms.Compose([
transforms.ToTensor(),
#.ToTensor()将shape为(H, W, C)的nump.ndarray或img转为shape为(C, H, W)的tensor,
#其将每一个数值归一化到[0,1],其归一化方法比较简单,直接除以255即可。
transforms.Normalize((0.1307,), (0.3081,)) # 所有图片像素均值和方差
#.Normalize作用就是.ToTensor将输入归一化到(0,1)后,再使用公式”(x-mean)/std”,将每个元素分布到(-1,1)
])), # 第一个参数dataset:数据集
batch_size=batch_size,
shuffle=True, #随机打乱数据
**kwargs)##kwargs是上面gpu的设置
test_loader = torch.utils.data.DataLoader(
datasets.MNIST('./mnist_data',
train=False, #如果False,从test.pt创建数据集
transform=transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.1307,), (0.3081,))
])),
batch_size=test_batch_size,
shuffle=True,
**kwargs)
#%%
train_loader.dataset[0][0].shape
2、定义CNN模型
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.conv1 = nn.Conv2d(1, 20, 5, 1)
#torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1)
#in_channels:输入图像通道数,手写数字图像为1,彩色图像为3
#out_channels:输出通道数,这个等于卷积核的数量
#kernel_size:卷积核大小
#stride:步长
self.conv2 = nn.Conv2d(20, 50, 5, 1)
#上个卷积网络的out_channels,就是下一个网络的in_channels,所以这里是20
#out_channels:卷积核数量50
self.fc1 = nn.Linear(4*4*50, 500)
#全连接层torch.nn.Linear(in_features, out_features)
#in_features:输入特征维度,4*4*50是自己算出来的,跟输入图像维度有关
#out_features;输出特征维度
self.fc2 = nn.Linear(500, 10)
#输出维度10,10分类
def forward(self, x):
#print(x.shape) #手写数字的输入维度,(N,1,28,28), N为batch_size
x = F.relu(self.conv1(x)) # x = (N,50,24,24)
x = F.max_pool2d(x, 2, 2) # x = (N,50,12,12)
x = F.relu(self.conv2(x)) # x = (N,50,8,8)
x = F.max_pool2d(x, 2, 2) # x = (N,50,4,4)
x = x.view(-1, 4*4*50) # x = (N,4*4*50)
x = F.relu(self.fc1(x)) # x = (N,4*4*50)*(4*4*50, 500)=(N,500)
x = self.fc2(x) # x = (N,500)*(500, 10)=(N,10)
return F.log_softmax(x, dim=1) #带log的softmax分类,每张图片返回10个概率
3、初始化模型和定义优化函数
lr = 0.01
momentum = 0.5
model = Net().to(device) #模型初始化
optimizer = optim.SGD(model.parameters(), lr=lr, momentum=momentum) #定义优化器
NLL loss的定义
ℓ ( x , y ) =