残差神经网络的研究

目录

一、ResNet残差神经网络

1.1 提出

1.2 作用

1.3 应用场景

1.4 残差单元的结构

1.4.1 残差网络得名的原因

1.4.2 残差网络可以有效缓解退化现象的原因

1.4.3 数学原理

二、附录

2.1 残差神经网络可以缓解退化现象的数学原理

2.2 为什么直接映射是最佳的

三、参考文献

 

---

 

 

一、ResNet残差神经网络

1.1 提出

ResNet（Residual Neural Network）[1] 残差神经网络由前微软研究院的 Kaiming He 等4名华人提出，通过使用 Residual Blocks 成功训练152层深的神经网络，在 ILSVRC 2015 比赛中获得了冠军，取得 3.57% 的 top-5 错误率，效果非常突出。

 

1.2 作用

在深度学习网络的层数增加时，模型的准确率会逐渐饱和甚至开始降低，这个不是过拟合现象因为在训练集上也会有这样的表现，这个现象被称为退化现象，其实更直观的感受来说是层数越多的神经网络模型的训练难度越高。使用ResNet可以有效的避免退化现象，训练出层数更深的深度学习神经网络。

 

1.3 应用场景

需要训练出一个优秀的深度神经网络时，可以考虑使用残差神经网络。

 

1.4 残差单元的结构

      上图即为残差单元的基本结构，相较于传统神经网络结构，残差单元多了一个将输入x传入后层作为后层输入的连接方式，这种方式被称为Shortcut Connection，使用到的映射方法为identity mapping，这种映射方法使得当x与F(x) 维度不同时，对x进行处理,