1 基础背景
论文链接:https://arxiv.org/abs/1512.03385
Github链接:https://github.com/pytorch/vision/blob/master/torchvision/models/resnet.py
知乎讲解:ResNet论文笔记及代码剖析
2 Motivation
对于深度神经网络来说,深度对于模型性能至关重要。网络层数越深:
(1)越容易导致梯度消失或梯度爆炸 gradient vanishing/exploding;
(2)越容易出现性能恶化degradation:准确率达到峰值后迅速下降。
3 解决方法
把输入直接加到输出上,即shortcut connection。残差网络的意思是输出-输入的那部分网络模型。
对于神经网络来说,它对于相同映射identity mapping之外的扰动更容易学习,而不是identity mapping本身。相同映射就是【输入=输出】。
如果输入输出维度不同,可以采用zero-padding补零/projection映射,将其维度改变。
4 结论
shortcut connection没有引入新的参数,也没有额外增加计算复杂度。
在ImageNet中,不shortcut connection的网络(论文中叫plain network)34层的训练误差高于18层的,而残差版的34层低于18层。
验证误差同样很小,说明泛化能力较强。
残差网络初期收敛更快,最终收敛效果更好。
对于层数非常深(>50)的网络,可以采用瓶颈bottleneck模型,使用卷积将其维度先降低,提取关键特征,再升高,这样可以有效降低算力需求,由此可以诞生101层,152层的网络,其算力需求仍低于VGG。(具体为什么是101/152,作者并没有说明,李沐分析可能是调试调出来)
projection引入了新的参数,不适用于瓶颈模型,使用identity mapping更好。
5 知识补充
top1 error
将模型输出中最大概率的结果作为最终分类结果,计算得到的错误率,该指标衡量了模型的准确程度,同理还有top5 error;