Pytorch学习笔记（3）——PyTorch神经网络工具箱+手写数字实战

第三章 PyTorch神经网络工具箱

利用PyTorch的数据结构及自动求导机制可以大大提高我们的开发效率。本章将介绍PyTorch的另一利器：神经网络工具箱。利用这个工具箱，设计一个神经网络就像搭积木一样，可以极大简化我们构建模型的任务。

3.1 神经网络核心组件

神经网络看起来很复杂，节点很多，层数多，参数更多。但核心部分或组件不多，把这些组件确定后，这个神经网络基本就确定了。这些核心组件包括：
1）层：神经网络的基本结构，将输入张量转换为输出张量。
2）模型：层构成的网络。
3）损失函数：参数学习的目标函数，通过最小化损失函数来学习各种参数。
4）优化器：如何使损失函数最小，这就涉及优化器。

3.2 实现神经网络实例

像卷积层、全连接层、Dropout层等因含有可学习参数，一般使用nn.Module，而激活函数、池化层不含可学习参数，可以使用nn.functional中对应的函数。

3.2.1 背景说明

这节将利用神经网络完成对手写数字进行识别的实例，来说明如何借助nn工具箱来实现一个神经网络，并对神经网络有个直观了解。
主要步骤：
1）利用PyTorch内置函数mnist下载数据。
2）利用torchvision对数据进行预处理，调用torch.utils建立一个数据迭代器。
3）可视化源数据。
4）利用nn工具箱构建神经网络模型。
5）实例化模型，并定义损失函数及优化器。
6）训练模型。
7）可视化结果。

3.2.2 实现

1、导包

import numpy as np
import torch
#导入mnist数据集
import torchvision.datasets.mnist as mnist
#预处理模块
import torchvision.transforms as transforms
import torch.utils.data.dataloader as dataloader
#nn及优化器
import torch.nn.functional as F
import torch.optim as optim
import torch.nn as nn

print(torch.__version__)

1.7.0

2、定义超参数

train_batch_size = 64
test_batch_size = 128
lr = 0.01
num_epoch = 10
momentum = 0.5

3、下载数据并进行预处理

#定义与处理函数
#将2个函数组合在一起
#ToTensor将数据范围转换到[0,1]，相当于除以255
#Normalize将数据范围转换到[-1,1]，分别制定mean和std为0.5
transform = transforms.Compose([transforms.ToTensor(),
                                transforms.Normalize([0.5],[0.5])])

https://blog.csdn.net/jzwong/article/details/104272600

#下载训练集和测试集
#使用了之前定义好的transform预处理函数
train_dataset = mnist.MNIST('./data',
                            train=True,
                            transform=transform,
                            download=False)
test_dataset = mnist.MNIST('./data',
                           train=False,
                           transform=transform,
                           download=False)

print(train_dataset)
print(test_dataset)

Dataset MNIST
    Number of datapoints: 60000
    Root location: ./data
    Split: Train
    StandardTransform
Transform: Compose(
               ToTensor()
               Normalize(mean=[0.5], std=[0.5])
           )
Dataset MNIST
    Number of datapoints: 10000
    Root location: ./data
    Split: Test
    StandardTransform
Transform: Compose(
               ToTensor()
               Normalize(mean=[0.5], std=[0.5])
           )

#创建迭代器
train_loader = dataloader.DataLoader(train_dataset,
                                     batch_size=train_batch_size,
                                     shuffle=True)
test_loader = dataloader.DataLoader(test_dataset,
                                    batch_size=test_batch_size,
                                    shuffle=False)

print(train_loader)
print(test_loader)

<torch.utils.data.dataloader.DataLoader object at 0x7ffd2a0a6a90>
<torch.utils.data.dataloader.DataLoader object at 0x7ffd2a0a69d0>

4、可视化数据

查看数据形状和可视化数据，有助于我们后续网络的搭建。正常来说不需要这一步。

#查看训练数据的data和label大小
print(train_dataset.data.shape)
print(train_dataset.targets.shape)
print(train_dataset.data.type)
#查看测试数据的data和label大小
print(test_dataset.data.shape)
print(test_dataset.targets.shape)

torch.Size([60000, 28, 28])
torch.Size([60000])
<built-in method type of Tensor object at 0x7ffd2a09dcd0>
torch.Size([10000, 28, 28])
torch.Size([10000])

import matplotlib.pyplot as plt