本文介绍了ResNet残差神经网络的概念，探讨了深度学习中遇到的 Degradation 问题，以及ResNet如何通过残差单元解决该问题。通过ResNet V1与V2的区别，展示了ResNet V2在训练和泛化能力上的优势。最后，文章提供了一个使用Tensorflow实现ResNet V2网络的示例。
ResNet（Residual Neural Network）由微软研究院的Kaiming He等4名华人提出，通过使用Residual Unit成功训练152层深的神经网络，在ILSVRC 2015比赛中获得了冠军，取得3.57%的top-5错误率，同时参数量却比VGGNet低，效果非常突出。
ResNet允许原始输入信息直接传输到后面的层中。ResNet最初的灵感出自这个问题：在不断加神经网络的深度时，会出现一个Degradation的问题，即准确率会先上升然后达到饱和，再持续增加深度则会导致准确率下降。这并不是过拟合的问题，因为不光在测试集上误差增大，训练集本身误差也会增大。假设有一个比较浅的网络达到了饱和的准确率，那么后面再加上几个y=x的全等映射层，起码误差不会增加，即更深的网络不应该带来训练集上误差上升。
Residual Unit
假设某段神经网络的输入是 x ，期望输出是
最低0.47元/天 解锁文章
1503
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
