残差网络ResNet系列网络结构详解:从ResNet到DenseNet
1. 残差神经网络综述
AlexNet的提出开启了卷积神经网络应用的先河,随后的GoogleNet、VGG等网络使用了更小的卷积核并加大了深度,证明了卷积神经网络在处理图像问题方面具有更加好的性能;
但是随着层数的不断加深,卷积神经网络也暴露出来许多问题:
- 理论上讲,层数越多、模型越复杂,其性能就应该越好;但是实验证明随着层数的不断加深,性能反而有所下降。
- 深度卷积网络往往存在着梯度消失/梯度爆炸的问题;由于梯度反向传播过程中,如果梯度都大于1,则每一层大于1的梯度会不断相乘,使梯度呈指数型增长;同理如果梯度都小于1,梯度则会逐渐趋于零;使得深度卷积网络难以训练。
- 训练深层网络时会出现退化:随着网络深度的增加,准确率达到饱和,然后迅速退化。
而ResNet提出的残差结构,则一定程度上缓解了模型退化和梯度消失问题:
作者提出,在一个结构单元中,如果我