卷积神经网络的网络结构——ResNet

最新推荐文章于 2024-07-26 20:02:18 发布

AI终结者

最新推荐文章于 2024-07-26 20:02:18 发布

阅读量1.6k

点赞数 96

本文链接：https://blog.csdn.net/qq_44929388/article/details/89353566

版权

ResNet通过Residual Unit解决深度神经网络的退化问题，以残差学习为核心，通过shortcut connections实现信息的直接传递，提高了训练速度和准确性。34层ResNet在实验中优于18层网络，且没有退化现象，为深度学习模型提供了新的思路。

摘要由CSDN通过智能技术生成

ResNet由微软研究院的kaiming He等4名华人提出，通过使用Residual Unit成功训练152层深的神经网络，在ILSVRC 2015比赛中获得了冠军，取得3.57%的top5错误率，同时参数量却比VGGNet低，效果非常突出。ResNet的结构可以极快地加速超深神经网络的训练，模型的准确率也有非常大的提升。
ResNet最初的灵感出自这个问题：在不断增加神经网络的深度时，会出现一个Degradation（退化）的问题，即准确率会先上升然后达到饱和，再持续增加深度则会导致准确率下降。这并不是过拟合的问题，因为不光在测试集上误差增大，训练集本身误差也会增大。
这里写图片描述
假设有一个比较浅的网络达到了饱和的准确率，那么后面再加上几个y=x的全等映射层，起码误差不会增加，即更深的网络不应该带来训练集上误差上升。而这里提到的使用全等映射直接将前一层输出传到后面的思想，就是ResNet的灵感来源。假定某段神经网络的输入是x，期望输出是H(x)，如果我们直接把输入x传到输出作为初始结果，那么此时我们需要学习的目标就是F(x) = H(x) - x。如图所示，这就是一个ResNet的残差学习单元（Residual Unit），
ResNet相当于将学习目标改变了，不再是学习一个完整的输出H(x)，只是输出和输入的差别H(x)-x，即残差。