经典网络结构(一)：LeNet、AlexNet

• 本文参考：$Dive$ $Into$ $Deep$ $Learning$

LeNet

• LeNet 是进行手写数字识别的网络，分为卷积层块和全连接层块两个部分，激活函数都使用 sigmoid
  • 在卷积层块中，每个卷积核的 stride 均为 1，padding 均为 0。第一个卷积层输出通道数为 6，第二个卷积层输出通道数则增加到 16。这是因为第二个卷积层比第一个卷积层的输入的高和宽要小，所以增加输出通道使两个卷积层的参数尺寸类似；卷积层块的两个最大池化层的窗口形状均为 $2\times 2$ ，且步幅为 2
    $$\begin{array}{r}Conv(6,Input\_channel,5,5)\to MaxPool(2,2)\to Conv(16,6,5,5)\\ \to MaxPool(2,2)\end{array}$$
  • 全连接层块含 3 个全连接层。它们的输出个数分别是 120、84 和 10，其中 10 为输出的类别个数
    

# 以 (1, 28, 28) 的 Mnist 手写数字数据集为例
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.features = nn.Sequential(
            nn.Conv2d(1, 6, 5),
            nn.Sigmoid(),
            nn.MaxPool2d(2, 2),
            nn.Conv2d(6, 16, 5),
            nn.Sigmoid(),
            nn.MaxPool2d(2, 2)
        )
        self.classifier = nn.Sequential(
            nn.Linear(16 * 4 * 4, 120),
            nn.Sigmoid(),
            nn.Linear(120, 84),
            nn.Sigmoid(),
            nn.Linear(84, 10)
        )

    def forward(self, x):
        x = self.features(x)
        x = x.view(x.shape[0], -1)
        x = self.classifier(x)
        
        return x

AlexNet

• AlexNet 与 LeNet 的设计理念非常相似，但也有显著的区别
  • (1) 激活函数全部使用 ReLU，相比 sigmoid 计算更简单且缓解了梯度消失问题
  • (2) 与相对较小的 LeNet 相比，AlexNet 包含 8 层变换，其中有 5 层卷积和 2 层全连接隐藏层，以及 1 个全连接输出层
    • AlexNet 第一层中的卷积窗口形状是 $11\times 11$ 。因为 ImageNet 中绝大多数图像的高和宽均比 MNIST 图像的高和宽大 10 倍以上，ImageNet 图像的物体占用更多的像素，所以需要更大的卷积窗口来捕获物体。 同时使用步幅 4来较大幅度减小输出高和宽。而且相比于 LeNet，输出的通道数也要大很多
      $$\begin{array}{r}Conv(96,Input\_channel,11,11),s=4\to MaxPool(3,3),s=2\end{array}$$
    • 第二层中的卷积窗口形状减小到 $5\times 5$
      $$\begin{array}{r}\to Conv(256,96,5,5),p=2\to MaxPool(3,3),s=2\end{array}$$
    • 之后的卷积核都采用 $3\times 3$
      $$\begin{array}{r}\to Conv(384,256,3,3),p=1\end{array}$$$$\begin{array}{r}\to Conv(384,384,3,3),p=1\end{array}$$$$\begin{array}{r}\to Conv(256,384,3,3),p=1\to MaxPool(3,3),s=2\end{array}$$
    • 紧接着最后一个卷积层的是两个输出个数为 4096 的全连接层。这两个巨大的全连接层带来将近 1GB 的模型参数。同时每个全连接层后还添加了 Dropout 层
    • 最后一个全连接输出层输出个数为类别数
  • (3) AlexNet 引入了大量的图像增广，如翻转、裁剪和颜色变化，从而进一步扩大数据集来缓解过拟合

# 以(1, 28, 28)的Mnist手写数字数据集为例
# 这里在加入网络训练之前先要把图片更改大小为与ImageNet中图片相同的224*224 (torchvision.transforms.Resize)
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.features = nn.Sequential(
            nn.Conv2d(1, 96, 11, 4),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(3, 2),
            nn.Conv2d(96, 256, 5, padding=2),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(3, 2),
            nn.Conv2d(256, 384, 3, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(384, 384, 3, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(384, 256, 3, padding=1),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(3, 2),
        )
        self.classifier = nn.Sequential(
            nn.Linear(256 * 5 * 5, 4096),
            nn.ReLU(inplace=True),
            nn.Dropout(p=0.5, inplace=False),
            nn.Linear(4096, 4096),
            nn.ReLU(inplace=True),
            nn.Dropout(p=0.5, inplace=False),
            nn.Linear(4096, 10)
        )

    def forward(self, x):
        x = self.features(x)
        x = x.view(x.shape[0], -1)
        x = self.classifier(x)
        
        return x