Deep Residual Learning for Image Recognition(深度残差学习在图像识别中的应用)

1.https://blog.csdn.net/C_chuxin/article/details/82948733
2.http://www.360doc.com/content/16/0314/09/2459_542023685.shtml
3.随着网络层数的增加, vanishing/exploding gradients(即梯度的消失或发散), 这就导致训练难以收敛, but normalized initialization [23, 9, 37, 13] and intermediate normalization layers[16] 解决了这个问题。
4.随着深度的增加，准确率会达到饱和，再持续增加深度则会导致准确率下降。这个问题不是由于过拟合造成的，因为训练误差也会随着深度增加而增大。
5.shortcut原意指捷径，在这里就表示越层连接, Shortcut connections：跳过一层或更多层。在论文中，short connection执行identity mapping，把之前层的outputs加到这些stacked layers的outputs，这既不会增加额外的参数也不会增加计算的复杂度。residual network解决了degradation。同时解决了梯度消失问题。

6.增加一个identity mapping（恒等映射），将原始所需要学的函数H(x)转换成F(x)+x，
这个Residual block通过shortcut connection实现，通过shortcut将这个block的输入和输出进行一个element-wise的加叠，这个简单的加法并不会给网络增加额外的参数和计算量，同时却可以大大增加模型的训练速度、提高训练效果，并且当模型的层数加深时，这个简单的结构能够很好的解决退化问题。错误率也大大降低，同时计算复杂度也保持在很低的程度