动手学深度学习之ModernCNN

本节介绍几个经典的CNN，包括AlexNet/VGGNet/NiN/GoogLeNet。

AlexNet

首次证明了学习到的特征可以超越人工设计的特征，从而一举打破计算机视觉研究的现状。
特征：

1. 8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。
2. 将sigmoid激活函数改成了更加简单的ReLU激活函数。
3. 用Dropout来控制全连接层的模型复杂度。
4. 引入数据增强，如翻转、裁剪和颜色变化，从而进一步扩大数据集来缓解过拟合。
   

VGGNet

VGG：通过重复使用简单的基础块来构建深度模型。
Block：数个相同的填充为1、窗口形状为3×3的卷积层，接上一个步幅为2、窗口形状为2×2的最大池化层。
卷积层保持输入的高和宽不变，而池化层则对其减半。

def vgg_block(num_convs, in_channels, out_channels): #卷积层个数，输入通道数，输出通道数
    blk = []
    for i in range(num_convs):
        if i == 0:
            blk.append(nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1))
        else:
            blk.append(nn.Conv2d(out_channels, out_channels, kernel_size=3, padding=1))
        blk.append(nn.ReLU())
    blk.append(nn.MaxPool2d(kernel_size=2, stride=2)) # 这里会使宽高减半
    return nn.Sequential(*blk)

提示一下，上图有错误，请勿完全照搬。

NiN

LeNet、AlexNet和VGG：先以由卷积层构成的模块充分抽取空间特征，再以由全连接层构成的模块来输出分类结果。
NiN：串联多个由卷积层和“全连接”层构成的小型网络来构建一个深层网络。
定义输出通道数等于标签类别数的NiN块，然后使用全局平均池化层对每个通道中所有元素求平均并直接用于分类。
1×1卷积核作用：
1.放缩通道数：通过控制卷积核的数量达到通道数的放缩。
2.增加非线性。1×1卷积核的卷积过程相当于全连接层的计算过程，并且还加入了非线性激活函数，从而可以增加网络的非线性。
3.计算参数少。
优势：
1.NiN重复使用由卷积层和代替全连接层的1×1卷积层构成的NiN块来构建深层网络。
2.NiN去除了容易造成过拟合的全连接输出层，而是将其替换成输出通道数等于标签类别数的NiN块和全局平均池化层。
3.NiN的以上设计思想影响了后面系列卷积神经网络的设计。

def nin_block(in_channels, out_channels, kernel_size, stride, padding):
    blk = nn.Sequential(nn.Conv2d(in_channels, out_channels, kernel_size, stride, padding),
                        nn.ReLU(),
                        nn.Conv2d(out_channels, out_channels, kernel_size=1),
                        nn.ReLU(),
                        nn.Conv2d(out_channels, out_channels, kernel_size=1),
                        nn.ReLU())
    return blk

GoogLeNet

由Inception基础块组成，4条支路，可以把不同感受野下的特征都扑捉到。同时派上concat神器，组合新特征。

有些话说

一些问题：

1. 相比于LeNet，AlexNet提出了什么新鲜东西？
2. 相比于AlexNet，VGGNet提出了什么新鲜东西？
3. 相比于VGGNet，NiN提出了什么新鲜东西？
4. 相比于前面的网络，GoogLeNet提出了设么新鲜东西？