ResNet（一）相关概念

最新推荐文章于 2024-10-05 23:50:14 发布

小麦粒

最新推荐文章于 2024-10-05 23:50:14 发布

阅读量4.7k

点赞数 8

分类专栏：深度学习

本文链接：https://blog.csdn.net/u010986753/article/details/99547979

版权

本文详细介绍了ResNet（残差网络）的由来、工作原理及结构，包括恒等映射、残差学习单元、ResNet的基本架构以及Post-activation和Pre-activation的区别。ResNet通过残差块解决了深度神经网络中的退化问题，允许网络达到前所未有的深度，如152层，并在ILSVRC 2015比赛中取得优异成绩。

摘要由CSDN通过智能技术生成

一、ResNet 介绍

1.1 ResNet 由来

ResNet由微软研究院的kaiming He等4名华人提出，通过使用Residual Unit成功训练152层深的神经网络，在ILSVRC 2015比赛中获得了冠军，取得3.57%的top5错误率，同时参数量却比VGGNet低，效果非常突出。ResNet的结构可以极快地加速超深神经网络的训练，模型的准确率也有非常大的提升。

ResNet最初的灵感出自这个问题：在不断增加神经网络的深度时，会出现一个Degradation（退化）的问题，即准确率会先上升然后达到饱和，再持续增加深度则会导致准确率下降。这并不是过拟合的问题，因为不光在测试集上误差增大，训练集本身误差也会增大。

1.2 深度残差网络 DRN 之恒等映射

深度残差网络（Deep Residual Network，简称DRN）之恒等映射。

前面描述了一个实验结果现象，在不断加神经网络的深度时，模型准确率会先上升然后达到饱和，再持续增加深度时则会导致准确率下降，示意图如下：

那么我们作这样一个假设：假设现有一个比较浅的网络（Shallow Net）已达到了饱和的准确率，这时在它后面再加上几个恒等映射层（Identity mapping，也即y=x，输出等于输入），这样就增加了网络的深度，并且起码误差不会增加，也即更深的网络不应该带来训练集上误差的上升。而这里提到的使用恒等映射直接将前一层输出传到后面的思想，便是著名深度残差网络ResNet的灵感来源。

ResNet引入了残差网络结构（residual network），通过这种残差网络结构，可以把网络层弄的很深（据说目前可以达到1000多层），并且最终的分类效果也非常好，残差网络的基本结构如下图所示，很明显，该图是带有跳跃结构的：