使用PyTorch搭建CNN神经网络

卷积运算的基本原理

单层卷积运算

valid convolution

所谓卷积运算就是一个卷积核[也称为过滤器]对指定大小的矩阵进行卷积的过程，具体运算方式如下图所示：

对于一个5x5的方阵，用一个3x3大小的卷积核进行卷积运算，可以看到首先对方阵左上角的3x3方块进行卷积运算，即将3*方块里的每个数与卷积核对应位置上的每个数相乘，最后将九个数相加，得到输出矩阵的第一个元素。

接着，我们将步长默认设置为1，对输入矩阵的第二至四列3x3方块进行卷积运算。

以此类推，将5x5矩阵中所有的3x3方块全部进行一次卷积运算后，即可得到输出矩阵，这就完成了指定卷积核对输入矩阵的卷积，可以由上图中看到，对于一个5x5矩阵使用3x3的卷积核进行卷积运算后得到的输出矩阵为3x3矩阵，由此我们可以得到一个公式：对于一个nxn大小的矩阵，使用mxm大小的卷积核进行计算后得到输出矩阵的大小为（n-m+1）x（n-m+1)大小的矩阵。另外我们也可以设置卷积计算中步长stride的大小，如果将步长设置为2，那么我们每次需要将3x3方块移动两列再与卷积核进行卷积运算，这样得到的输出矩阵大小变为{(n-m)/stride+1} x {(n-m)/stride+1 } [表示对值向下取整],这种卷积运算也称为valid convolution，还有另外一种卷积运算叫做same convolution。

same convolution

在valid convolution计算中，我们得到的输出矩阵大小一般小于输入矩阵，为了使矩阵大小不改变，在卷积运算中可以设置一个参数padding，即在输入矩阵周围填充padding大小的像素值，一般填充0，如图所示：

对于3x3大小的卷积核，我们为了保证输出矩阵大小也为5x5，我们需要将padding设置为1，于是，在same convolution中，输出矩阵[输入矩阵大小为nxn，输出矩阵大小为mxm,步长为stride]的大小公式更新为：{(n+2padding-m)/stride+1} / {(n+2padding-m)/stride+1}。
为了保证输入输出矩阵大小相同，必须满足padding = (f - 1)/2。

##高维度卷积运算
CNN神经网络一般用于处理图像信息，一个图像信息是由RGB三个像素层构成，于是这个时候我们必须同时改变卷积核的通道数，使其与输入数据保持一致。

对于这样一个图像信息，我们需要三个单层卷积核分别对三个像素层进行卷积运算，这个时候我们得到了三个矩阵，然后将三个矩阵相加，即得到了对图像信息进行卷积运算的输出矩阵。

可以看到，无论是多少层数的输入矩阵，最后得到的输出矩阵永远只有一层。若是希望区别不同的颜色，即可将立体卷积核对应的不同层数中的元素分别设置为需要的值。

CNN的基本结构

数据输入层

一般在这一层我们会构建好要训练和测试的数据，本文使用的数据是torchvision下的dataset里面的mnist库。

卷积层

卷积层就是对输入数据进行卷积运算，然后使用激活函数对数据进行激活，常用的激活函数由sigmoid、relu函数等。

池化层

再对每个输入信息进行完卷积运算后还需要对输出数据进行池化，如图所示：

这是一种池化方式叫做最大池化，集设置过滤器的大小，然后取出每个区域块的最大的数值，从而得到池化后的结果，池化后矩阵大小为[输入矩阵为 nxn 大小，过滤器为 fxf 大小] {(n/f)} x {(n/f)}
另外还有别的池化方式，详情请参考链接https://blog.csdn.net/qq_31908897/article/details/90607050

全连接层

全连接层和DNN里的全连接层一样，全连接一般会把卷积输出的二维特征图转化成一维的一个向量，高度提纯图像信息的特征，方便交给最后的分类器或者回归。

数据导入的实现

本文训练和测试使用的是mnist库，可以直接在python中下载，比较方便，以下是本文所有代码需要导入的库：

import torch
import matplotlib.pyplot as plt
from torchvision import transforms, datasets
from torch.utils.data import DataLoader
import torch.nn.functional as F
import torch.optim as optim

接下来加载数据集：

#加载数据集
batch_size = 10
transform = transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.1307, ), (0.3081, ))])

train_dataset = datasets.MNIST(root = '../dataset/mnist', train = True, download = True, transform = transform)
train_loader = DataLoader(train_dataset, batch_size = batch_size, shuffle = True)

test_dataset = datasets.MNIST(root = '../dataset/mnist/', train = False, download = True, transform = transform)
test_loader = DataLoader(test_dataset, shuffle =