经典CNN的实现 ResNet

经典CNN的实现 ResNet

ResNet诞生于2015年，当年ImageNet竞赛冠军，Top5错误率为3.57%

论文出处：Kaiming He, Xiangyu Zhang, Shaoqing Ren. Deep Residual Learning for Image Recognition. In CPVR, 2016.

引入残差结构

从之前介绍的 4 种 CNN 经典网络结构我们也可以看出，网络层数的发展趋势是不断加深的。 这是由于深度网络本身集成了低层/中层/高层特征和分类器，以多层首尾相连的方式存在，所以可以通过增加堆叠的层数（深度）来丰富特征的层次，以取得更好的效果。

然而，单纯地增加网络的层数会导致**梯度消失（爆炸）**问题，它从根源上导致了函数无法收敛。通过标准初始化（normalized initialization）以及中间标准化层 （intermediate normalization layer），已经可以较好地解决这个问题了，这使得深度为数十层 的网络在反向传播过程中，可以通过随机梯度下降（SGD）的方式开始收敛。 但是，当深度更深的网络也可以开始收敛时，网络退化的问题就显露了出来：随着网络深度的增加，准确率先是达到瓶颈（这是很常见的），然后便开始迅速下降。需要注意的是， 这种退化并不是由过拟合引起的。对于一个深度比较合适的网络来说，继续增加层数反而会导致训练错误率的提升。