小白入门深度学习 | 6-4：ResNet-50（2015年）详解

由CNN的基本理论可知，基于CNN模型的图像分类性能与网络模型的深度存在重要的关系。一般而言，网络模型的深度越深，网络模型的拟合能力就越强。但是不断地增加网络模型的深度，不但无法提高网络模型的准确度，反而出现了梯度消失现象，产生了更高的误差。最终使CNN模型的图像的分类性能受损。为解决上述问题，本文详细介绍残差网络（Residual Networks，ResNet）的结构特点，在此基础上，研究不同深度的ResNet模型的图像分类性能。

一、算法简介

残差网络ResNet在2015年由何恺明等提出，因为它简单与实用并存，随后很多研究都是建立在ResNet-50或者ResNet-101基础上完成。

ResNet主要解决深度卷积网络在深度加深时候的“退化”问题。在一般的卷积神经网络中，增大网络深度后带来的第一个问题就是梯度消失、爆炸，这个问题Szegedy提出BN层后被顺利解决。BN层能对各层的输出做归一化，这样梯度在反向层层传递后仍能保持大小稳定，不会出现过小或过大的情况。但是作者发现加了BN后再加大深度仍然不容易收敛，其提到了第二个问题–准确率下降问题：层级大到一定程度时准确率就会饱和，然后迅速下降，这种下降即不是梯度消失引起的也不是过拟合造成的，而是由于网络过于复杂，以至于