对Resnet的一些理解

本周学习：Resnet网络，残差连接

论文题目：Deep Residual Learning for Image Recognition

发表时间：2015

发表期刊或会议；CVPR

论文模型如下：
一个超级简单的更改，提出了residual和shortcut，却有着重大的影响。

论文试图解决的问题：
研究中发现，当神经网络的深度增加时，网络效果按理来说，应该会逐渐变得更好，然而实际情况是，最后的结果反而会更差。
本文主要就是把CNN的主干模型换成了ResNet，把residual connection（残差连接）用过来，当层数变多时，多余的层如果对结果是负面影响，那这个层就不会生效，反之亦然。这样就不会出现，层数越多，反而效果不好的现象。

论文中提到的结果方案关键是什么：
residual connection（残差连接）

如此，就很难出现梯度消失的现象。

代码开源问题：
https://github.com/pytorch/vision/blob/main/torchvision/models/resnet.py

论文有什么贡献：
残差神经网络的主要贡献是发现了退化现象，并针对退化现象发明了快捷连接(shortcut connection)，极大的消除了深度过大的神经网络训练困难问题。

总结：
resnet不是第一个提出residual和shortcut的，但是它是第一个提出，并应用的，第一个发现螃蟹的人很重要，第一个吃螃蟹的人更重要。
另外在对深度学习的层数计算中，我学到了：
最大池化层没参数学习，不算层