Deep Residual Learning for Image Recognition的论文学习

何凯明大名鼎鼎的深度残差网络，学习笔记在网上可以说是数不胜数，原论文发表是在2015年，由于其良好的性能和出众的通用性已经被很多深度学习的书籍收录，原论文讲得比较深奥，看完还是云里雾里的，这里摘录一些易于理解的学习笔记和奇妙的比喻。

吴恩达深度学习笔记（八） —— ResNets残差网络 - DOLFAMINGO - 博客园

https://www.cnblogs.com/DOLFAMINGO/p/9751779.html

残差网络ResNet笔记 - 简书

https://www.jianshu.com/p/e58437f39f65

CNN入门讲解：什么是残差网络Resnet（视频） - 知乎

https://zhuanlan.zhihu.com/p/33613512

深度残差网络的一波两折 - yujianmin1990的专栏 - CSDN博客

https://blog.csdn.net/yujianmin1990/article/details/78672485

神奇の比喻：

F是求和前网络映射，H是从输入到求和后的网络映射。比如把5映射到5.1，那么引入残差前是F’(5)=5.1，引入残差后是H(5)=5.1, H(5)=F(5)+5, F(5)=0.1。这里的F’和F都表示网络参数映射，引入残差后的映射对输出的变化更敏感。比如原来是从5.1到5.2，映射F’的输出增加了1/51=2%，而对于残差结构从5.1到5.2，映射F是从0.1到0.2，增加了100%。明显后者输出变化对权重的调整作用更大，所以效果更好。残差的思想都是去掉相同的主体部分，从而突出微小的变化，看到残差网络我第一反应就是差分放大器…

《python深度学习》书中解析：