深度学习第2周：用PyTorch进行Mnist手写数字识别

用PyTorch进行Mnist手写数字识别

本周选择的任务跟上周大同小异，区别在于深度学习框架的选择。
除了跑通pytorch代码外，本周目标还有两个：

1. 再次明确深度学习类程序的架构
2. 了解pytorch的基本框架

深度学习程序框架

1. 数据准备
2. 模型网络结构设计
3. 模型训练
4. 模型评估和测试
5. 模型优化
6. 部署应用

其中，数据准备
在该阶段要对原始数据进行处理，以达到模型训练的统一标准， 如果图像跟训练集有差异，那么往往会出现训练效果不好的情况。
如果最终目标是实现自己手写数字拍照识别， 那么

1. 图片对比度调整：将照片对比度增强， 尽量做到黑白分明， 背景为纯白，数字为纯黑是最理想的情况
2. 图片去噪：对图片中的噪点进行去除或者过滤
3. 数字图像分割：检测数字边缘，确定每个数字的位置
4. 数字图片整理：处理成与训练集一致的28*28灰度图
5. 读入训练集和测试集

该阶段在Mnist数据集中已经进行过预处理，所以涉及的工作就是读入数据及初始化
如果是真实项目， 可能把训练和实际应用分开。而且图片预处理的工作涉及到cv2， 暂时不在我能力范围。

优化和部署也暂不涉及

这段代码可以分为以下几个模块：

主程序初始化

定义超参数
BATCH_SIZE = 512 表示每次训练模型时，使用的数据批次大小为512。每次训练和测试时，会将数据集分成若干个大小为 BATCH_SIZE 的批次进行处理。这个参数的大小会影响模型的训练速度和准确率，一般来说，批次大小越大，训练速度越快，但是可能会导致模型过拟合；批次大小越小，训练速度越慢，但是可能会导致模型欠拟合。

EPOCHS = 20 表示训练模型的总训练次数为20。在这个代码中，每次训练模型时，会将训练集分成若干个大小为 BATCH_SIZE 的批次进行处理，每个批次都会更新一次模型参数。训练模型的总批次数越多，模型的训练时间越长，但是可能会提高模型的准确率。一般来说，训练模型的总批次数需要根据具体的任务和数据集进行调整，以达到最佳的训练效果。

虽然代码没有明确指定训练迭代的总次数，但我们可以通过将每个 epoch 中的批次数乘以 epoch 数来计算。在这种情况下，批次大小为 512，MNIST 数据集中有 60,000 个训练样本。因此，每个 epoch 有 60,000 / 512 = 117.1875 个批次。将其乘以 epoch 数（20）得到总共约为 2344 次训练迭代

#用pytorch进行mnist手写数字识别
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
from torchvision import datasets, transforms

#定义超参数
BATCH_SIZE = 512         #大概需要2G的显存
EPOCHS = 20              #总共训练批次
DEVICE = torch.device("cuda" if torch.cuda.is_available() else "cpu")   #若能使用cuda则使用cuda

数据加载模块：

使用torch.utils.data.DataLoader加载MNIST数据集，分别对训练集和测试集进行加载和预处理。
torch.utils.data.DataLoader是PyTorch中用于加载数据的工具类。
它可以将数据集转换为可迭代的对象，以便在训练模型时逐批加载数据。
在给定的代码中，train_loader和test_loader都是使用torch.utils.data.DataLoader加载MNIST数据集的示例。
具体来说，train_loader和test_loader都是一个元组，其中
第一个元素是datasets.MNIST对象，
第二个元素是批次大小。
datasets.MNIST对象是一个数据集对象，它包含MNIST数据集的图像和标签，并且可以使用transforms模块中的函数进行预处理。
在训练模型时，可以使用train_loader逐批加载训练数据，使用test_loader逐批加载测试数据。

datasets.MNIST是PyTorch中用于加载MNIST数据集的工具类。它有三个参数：

root：数据集的根目录。
如果数据集已经下载，则可以将其设置为已下载数据集的路径。
如果数据集未下载，则可以将其设置为要下载数据集的路径。默认值为’./data’。

train：一个布尔值，指示是否加载训练集。
如果为True，则加载训练集。如果为False，则加载测试集。默认值为True。

transform：一个可选的数据预处理函数或变换。
如果指定了此参数，则在加载数据集时将应用该函数或变换。默认值为None。

在给定的代码中，
datasets.MNIST的root参数设置为’data’，
train参数设置为True，
transform参数设置为一个transforms.Compose对象，
该对象包含两个变换：
transforms.ToTensor()和
transforms.Normalize((0.1307,), (0.3081,))。

transforms.ToTensor()是一个数据预处理函数，用于将图像转换为张量，并将像素值缩放到[0, 1]之间。
在给定的代码中，transforms.ToTensor()被应用于MNIST数据集的transform参数中，以便将数据集转换为适合训练模型的形式。
具体来说，transforms.ToTensor()将图像的每个像素值除以255，从而将像素值缩放到[0, 1]之间，并将图像转换为一个形状为(1, 28, 28)的张量，其中1表示通道数，28表示图像的高度，28表示图像的宽度。
这样做的目的是为了将数据集转换为适合训练模型的形式，以便提高模型的训练效果。

transforms.ToTensor()将图像转换为张量，并将像素值缩放到[0, 1]之间。