CNN经典网络模型（四）：GoogLeNet简介及代码实现（PyTorch超详细注释版）

目录

一. 开发背景

二. 网络结构

三. 模型特点

四. 代码实现

五. 参考内容

六. 代码及数据集下载

---

一. 开发背景

GoogLeNet在2014年由Google团队提出， 斩获当年ImageNet(ILSVRC14)竞赛中Classification Task (分类任务) 第一名，VGG获得了第二名，为了向“LeNet”致敬，因此取名为“GoogLeNet”。

GoogLeNet做了更加大胆的网络结构尝试，虽然深度只有22层，但大小却比AlexNet和VGG小很多。GoogleNet参数为500万个，AlexNet参数个数是GoogleNet的12倍，VGGNet参数又是AlexNet的3倍，因此在内存或计算资源有限时，GoogleNet是比较好的选择，从模型结果来看，GoogLeNet的性能也更加优越。

二. 网络结构

GoogLeNet 总共有22层，由 9 个 Inception v1 模块和 5 个池化层以及其他一些卷积层和全连接层构成。该网络有3个输出层，其中的两个是辅助分类层，如下图所示：

清晰图见：https://nndl.github.io/v/cnn-googlenet

inception v1结构

传统网络为了减少参数量，减小过拟合，将全连接和一般卷积转化为随机稀疏连接，但是计算机硬件对非均匀稀疏数据的计算效率差。为了既保持网络结构的稀疏性，又能利用密集矩阵的高计算性能，GoogLeNet提出了一种并联结构，Inception网络结构。其主要思想是寻找用密集成分来近似最优局部稀疏连接，通过构造一种“基础神经元”结构，来搭建一个稀疏性、高计算性能的网络结构。

下图是论文中提出的inception v1结构。Inception块由四条并行路径组成，前三条路径使用窗口大小为1×1、3×3和5×5的卷积层，从不同空间大小中提取信息。中间的两条路径在输入上执行1×1卷积，以减少通道数，减少模型训练参数，从而降低模型的复杂性。第四条路径使用3×3最大汇聚层，然后使用1×1卷积层来改变通道数。这四条路径都使用合适的填充来使输入与输出的高和宽一致，以保证输出特征能在通道维度上进行拼接。最后我们将每条线路的输出在通道维度上连结，并构成Inception块的输出。Inception块的通道数分配之比是在ImageNet数据集上通过大量的实验得来的。如下图所示：

注：CNN参数个数 = 卷积核尺寸×卷积核深度 × 卷积核组数 = 卷积核尺寸 × 输入特征矩阵深度 × 输出特征矩阵深度

辅助分类器（Auxiliary Classifier）

网络主干右边的两个分支就是辅助分类器，他们也能预测图片的类别，其结构一模一样。它确保了即便是隐藏单元和中间层也参与了特征计算，在inception网络中起到一种调整的效果，避免梯度消失。在训练模型时，将两个辅助分类器的损失乘以权重（论文中是0.3）加到网络的整体损失上，再进行反向传播。实际预测时，这两个辅助分类器会被去掉。如下图所示：

三. 模型特点

1. 采用了模块化的结构，方便增添和修改；
2. 引入Inception结构，在加深的基础上进行加宽，稀疏的网络结构，但能产生稠密的数据，既能改善神经网络表现，又能保证计算资源的使用效率，并且它通过不同窗口大小的卷积层和最大池化层来并行抽取信息，融合不同尺度的特征信息；
3. 使用1x1的卷积核减少通道数来减少计算量和参数，从而降低模型复杂度；
4. 添加两个辅助分类器帮助训练，其实这种训练方式可以看作将几个不同深度的子网络合并到一块进行训练，由于网络的卷积核共享，因此计算的梯度可以累加，这样最终的梯度便不会很小甚至消失；
5. 采用全局平均池化层来代替全连接层，大大减少模型参数，除去两个辅助分类器，网络大小只有VGG的1/20，准确率提高0.6%，实际在最后还是加了一个全连接层，便于对输出进行灵活调整；
6. Googlenet提出了多尺度融合的网络结构，这种结构非常有意义，在目标检测领域应用非常广泛，目标检测的特征金字塔特征融合的方法和网络结构正是借鉴了Googlenet的思想。

四. 代码实现

• model.py ：定义GoogLeNet网络模型
• train.py：加载数据集并训练，计算loss和accuracy，保存训练好的网络参数
• predict.py：用自己的数据集进行分类测试
• spilit_data.py：划分给定的数据集为训练集和测试集

1. model

import torch
import torch.nn as nn
import torch.nn.functional as F

# 定义GoogLeNet网络模型
class GoogLeNet(nn.Module):
    # init()：进行初始化，申明模型中各层的定义
    # num_classes：需要分类的类别个数
    # aux_logits：训练过程是否使用辅助分类器，init_weights：是否对网络进行权重初始化
    def __init__(self, num_classes=1000, aux_logits=True, init_weights=False):
        super(GoogLeNet, self).__init__()
        self.aux_logits = aux_logits

        self.conv1 = BasicConv2d(3, 64, kernel_size=7, stride=2, padding=3)
        # ceil_mode=true时，将不够池化的数据自动补足NAN至kernel_size大小
        self.maxpool1 = nn.MaxPool2d(3, stride=2, ceil_mode=True)

        self.conv2 = BasicConv2d(64, 64, kernel_size=1)
        self.conv3 = BasicConv2d(64, 192, kernel_size=3, padding=1)
        self.maxpool2 = nn.MaxPool2d(3, stride=2, ceil_mode=True)

        self.inception3a = Inception(192, 64, 96, 128, 16,