本文介绍了ResNet网络结构，解决深度学习中网络层数加深导致的退化问题。ResNet通过残差块实现深度网络的高效训练，保持模型精度。论文提出的残差学习思想，通过恒等映射和捷径连接，使模型能够学习输入的残差，避免梯度消失，从而有效训练超过100层的网络。
引言
对于深度学习初学者，对网络结构总是存在模糊的认识，不能确切的把握结构的要义。在学习探索过程中，对网络结构算法的有效性和准确度没有很高的要求，经常不考虑时间成本和效率因素，但在工作和实际场景应用时，存在着各种硬性的要求，在较短或者很短的时间内训练出较好或者符合应用场景最低要求网络模型。
对于 ResNet 网络结构，本人由于没有深刻的学习和相关的总结，在实习和学习过程中总是碰壁。非常感谢实习的主管，给予我很大的帮助。本文是本人阅读 ResNet 论文和结合实习经历之后的简单总结，共两篇。第一篇（即本篇）主要讲 ResNet，第二篇主要讲对 ResNet 网络结构的优化。
ResNet 网络简介
《Deep Residual Learning for Image Recognition》论文由微软研究院的kaiming He等4名华人提出，通过使用Residual Unit成功训练152层深的神经网络，在ILSVRC 2015比赛中获得了冠军，取得3.57%的top5错误率，同时参数量却比VGGNet低，效果非常突出。ResNet的结构可以极快地加速超深神经网络的训练，模型的准确率也有非常大的提升。论文链接
ResNet 主要解决的问题是：在不断增加神经网络的深度时，会出现一个Degradation（退化）的问题，即准确率会先上升然后达到饱和，再持续增加深度则会导致准确率下降。这并不是过拟合的问题，因为不光在测试集上误差增大，训练集本身误差也会增大。如图示：
最低0.47元/天 解锁文章
1362
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
