深度网络在增加层数后可能出现退化现象，表现为性能不增反降。这可能由于非线性激活函数ReLU导致的信息损失。残差网络（ResNet）通过引入跳跃连接，使得输入信息可以直接传递到输出，保护了信息的完整性，降低了学习难度。ResNet的学习目标变为拟合输入与输出的差值，而不是整个复杂映射。此外，讨论了网络退化、残差结构的作用、不同层数ResNet的选择、以及ReLU和Leaky ReLU在信息损失和网络退化中的影响。
参考：
残差网络：
https://zhuanlan.zhihu.com/p/106764370
https://blog.csdn.net/u011808673/article/details/78836617
https://blog.csdn.net/qq_34886403/article/details/83961424
https://blog.csdn.net/litt1e/article/details/87644012
随即删除残差快：
https://zhuanlan.zhihu.com/p/37820282
深度网络的退化问题
- 我们选择加深网络的层数，是希望深层的网络的表现能比浅层好，或者是希望它的表现至少和浅层网络持平（相当于直接复制浅层网络的特征），可实际的结果却让我们大吃一惊（深度网络退化），接下来我们深究一下导致深度网络退化的原因。
- 在MobileNet V2</
最低0.47元/天 解锁文章
扫一扫
8992
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
