目录
一、ResNet残差神经网络
1.1 提出
ResNet(Residual Neural Network)[1] 残差神经网络由前微软研究院的 Kaiming He 等4名华人提出,通过使用 Residual Blocks 成功训练152层深的神经网络,在 ILSVRC 2015 比赛中获得了冠军,取得 3.57% 的 top-5 错误率,效果非常突出。
1.2 作用
在深度学习网络的层数增加时,模型的准确率会逐渐饱和甚至开始降低,这个不是过拟合现象因为在训练集上也会有这样的表现,这个现象被称为退化现象,其实更直观的感受来说是层数越多的神经网络模型的训练难度越高。使用ResNet可以有效的避免退化现象,训练出层数更深的深度学习神经网络。
1.3 应用场景
需要训练出一个优秀的深度神经网络时,可以考虑使用残差神经网络。
1.4 残差单元的结构
上图即为残差单元的基本结构,相较于传统神经网络结构,残差单元多了一个将输入x传入后层作为后层输入的连接方式,这种方式被称为Shortcut Connection,使用到的映射方法为identity mapping,这种映射方法使得当x与F(x) 维度不同时,对x进行处理,