LeNet

根据网络结构图，推算出了具体卷积层和池化层的size、padding、stride等

卷积层和全连接层都是可以用线性方程组来表示的，所以它们之间需要加入激活函数，增添非线性操作。

激活函数可以看作卷积神经网络模型中一个特殊的层，即非线性映射层。卷积神经网络在进行完线性变换后，都会在后边叠加一个非线性的激活函数，在非线性激活函数的作用下数据分布进行再映射，以增加卷积神经网络的非线性表达能力。

基本上只是网络结构的简单代码实现，如果真实要应用到数据集上，需要对代码进行一些修改：

import torch
import torch.nn as nn 
# All neural network modules， nn.Linear， nn.Conv2d，BatchNorm，Loss functions
#LeNet architecture
#1x32x32 Input ->(5x5), s=1,p=0 -> avg pool s=2,p=0->(5x5), s=1,p=0 - avg pool s=2,p=0
# ->Conv 5x5 to 120 channels x Linear 120 -> 84 x Linear 10

class LeNet(nn.Module):
    def __init__(self):
        super(LeNet,self).__init__()
        self.relu = nn.ReLU()
        self.pool = nn.AvgPool2d(kernel_size=(2,2),stride=(2,2))
        self.conv1 = nn.Conv2d(in_channels=1,out_channels=6,kernel_size=(5,5),stride=(1,1),padding=(0,0))
        self.conv2 = nn.Conv2d(in_channels=6,out_channels=16,kernel_size=(5,5),stride=(1,1),padding=(0,0))
        self.conv3 = nn.Conv2d(in_channels=16,out_channels=120,kernel_size=(5,5),stride=(1,1),padding=(0,0))
        self.linear1 = nn.Linear(120,84)
        self.linear2 = nn.Linear(84,10)
        #基本上定义了所有需要用到的层操作，包括不限于激活函数、卷积操作、池化操作、线性操作即全连接层

    def forward(self, x):
        x = self.relu(self.conv1(x)) #现在一般的顺序是conv-bn-relu，两个卷积层之间要加一层非线性，避免两层退化成一层
        x = self.pool(x)
        x = self.relu(self.conv2(x))
        x = self.pool(x)
        x = self.relu(self.conv3(x)) # num examples x 120 x 1 x 1 --> num examples x 120
        x = x.reshape(x.shape[0],-1) #前面是变成了120*1*1的矩阵了，现在为了方便，把它拉成一个一维数组
        x = self.relu(self.linear1(x))
        x = self.linear2(x)
        return x

x = torch.randn(64,1,32,32)
model = LeNet()
print(model(x).shape)