PyTorch深度学习实战——基于ResNet模型实现猫狗分类

0. 前言

从 VGG11 到 VGG19，不同之处仅在于网络层数，一般来说，神经网络越深，它的准确率就越高。但并非仅增加网络层数，就可以获得更准确的结果，随着网络层数的增加可能会出现以下问题：

• 梯度消失和爆炸：在网络层次过深的情况下，反向传播可能会面临梯度消失和爆炸的问题，导致训练网络时无法收敛
• 过拟合：增加网络深度会带来更多的参数，如果数据样本过少或网络过于复杂，会导致网络过拟合，降低模型的泛化能力

总之，在构建的神经网络过深时，有两个问题：前向传播中，网络的最后几层几乎没有学习到有关原始图像的任何信息；在反向传播中，由于梯度消失(梯度值几乎为零)，靠近输入的前几层几乎没有任何梯度更新。
深度残差网络 (ResNet) 的提出就是为了解决上述问题。在 ResNet 中，如果模型没有什么要学习的，那么卷积层可以什么也不做，只是将上一层的输出传递给下一层。但是，如果模型需要学习其他一些特征，则卷积层将前一层的输出作为输入，并学习完成目标任务所需的其它特征。

1. ResNet 架构

ResNet 通过残差结构解决网络过深时出现的问题，让模型能够训练得更深。经典的 ResNet 架构如下所示：