残差神经网络ResNet系列网络结构详解：从ResNet到DenseNet

1. 残差神经网络综述

AlexNet的提出开启了卷积神经网络应用的先河，随后的GoogleNet、VGG等网络使用了更小的卷积核并加大了深度，证明了卷积神经网络在处理图像问题方面具有更加好的性能；

但是随着层数的不断加深，卷积神经网络也暴露出来许多问题：

1. 理论上讲，层数越多、模型越复杂，其性能就应该越好；但是实验证明随着层数的不断加深，性能反而有所下降。
2. 深度卷积网络往往存在着梯度消失/梯度爆炸的问题；由于梯度反向传播过程中，如果梯度都大于1，则每一层大于1的梯度会不断相乘，使梯度呈指数型增长；同理如果梯度都小于1，梯度则会逐渐趋于零；使得深度卷积网络难以训练。
3. 训练深层网络时会出现退化：随着网络深度的增加，准确率达到饱和，然后迅速退化。

而ResNet提出的残差结构，则一定程度上缓解了模型退化和梯度消失问题：

作者提出，在一个结构单元中，如果我