经典卷积网络LeNet

（图片取自《dive into deep learning》）
每个卷积模块包含一个卷积层（卷积核为5×5），一个sigmoid激活函数以及一个平均池化层。后续将其换成relu激活函数和最大池化层效果会更好，但是在当时还没有出现这两种技术。
第一层卷积输出6个通道，第二层卷积输出16个通道；
池化操作为2×2，步幅为2，能够将维度减少四倍???

LeNet(LeNet-5)是由两部分组成：卷积编码器和全连接层模块

net = nn.Sequential(
	# 卷积模块
    nn.Conv2d(1, 6, kernel_size=5, padding=2), nn.Sigmoid(),
    nn.AvgPool2d(kernel_size=2, stride=2),
    nn.Conv2d(6, 16, kernel_size=5), nn.Sigmoid(),
    nn.AvgPool2d(kernel_size=2, stride=2),
    # 全连接模块
    nn.Flatten(),
    nn.Linear(16 * 5 * 5, 120), nn.Sigmoid(),
    nn.Linear(120, 84), nn.Sigmoid(),
    nn.Linear(84, 10))

首先，对于卷积部分，我们先来算一下是怎么由输入的1 * 28 * 28变成输出的16 * 5 * 5是怎么来的：

• 输入1 * 28 * 28

1. cov1: 28 - 5（卷积核大小）+2（填充）*2（行/列的方向均是两边填充左右/上下）+1（默认步幅为1） = 28，因此输出的高和宽均为28（这里都是高宽都一样，就简略一些），通道数为6，因此最后本层输出为6 * 28 * 28；
2. avg1: 28 - 2（池化大小） + 2（没有填充，步幅为2） = 28/2（步幅为2，因此需要除以2） = 14，通道数为6，因此最后本层输出为6 * 14 * 14；
3. cov2: 14 - 5（卷积核大小）+1（默认步幅为1） = 10，，通道数为16，因此最后本层输出为16 * 10 * 10；
4. avg2: 10 - 2（池化大小） + 2（没有填充，步幅为2） = 10/2（步幅为2，因此需要除以2） = 5，通道数为16，因此最后本层输出为16 * 5 * 5；

这种简单的网络我们可以这样计算，对于复杂的网络我们希望能够借助pytorch自动得出（虽然pytorch还没有这种功能，不过我们可以一层一层让它算）

X = torch.rand(size=(1, 1, 28, 28), dtype=torch.float32)
for layer in net:
    X = layer(X)
    print(layer.__class__.__name__,'output shape: \t',X.shape)

我们给定输入X，在net中一层一层添加layer，然后每次调用net对X进行处理，打印X的形状就可以清楚地得到每一层输出的形状，进而确定下一层的输入。

LeNet最初是为了进行数字识别而发明，因此他的输出是要能够进行分类。所以在这里需要使用全连接模块进行输出，为了能够将卷积的结果输入全连接层，首先进行flatten操作，将其展成二维向量，然后接三层全连接层将输出控制为10维。