ResNet学习汇总

一、提出思想的理解

论文利用信号叠加合并的优点，解決了超深度CNN网络训练时的梯度消失和爆炸的问题，提出了一个 deep residual learning 框架来解决这种因为深度增加而导致性能下降问题。

残差网络Residual networks赢得了ImageNet的detection，localization，以及COCO数据集上的detection和segmentation的第一名。

借用一篇博客所讲进行理解，博客地址：https://blog.csdn.net/shirleycyy/article/details/79947614，如有侵权请联系删除。

二、网络结构的理解

越深的网络效果越好，但是随着网络层数的增加，问题随之而来：首先，梯度的消失和爆炸导致训练难以收敛。但是随着normalized initialization和intermediate normalization layers的提出，这个问题得到一定程度的解决。其次，随着网络深度的增加，在系统精度得到饱和之后，精度迅速下降。对一个合适深度的模型加入额外的层数反而会导致训练误差变大，因为训练误差也会随着深度增加而增大。

如果我们增加的层数可以构建为一个identity mappings，那么增加层数后的网络训练误差应该不会增加。这里我们提出一个deep residual learning框架来解决这种因为深度增加而导致性能下降问题，假设我们期望的网络层关系映射为H(x), 我们让the stacked nonlinear layers拟合另一个映射，F(x):= H(x)-x，那么原先的映射就是F(x)+x，这里我们假设优化残差映射F(x)比优化原来的映射H(x)容易。

另外，从一个朋友的博客中看到博主对ResNet的理解，包含各方各面，很深刻也很有意思，这里借鉴过来，博客地址是：https://www.cnblogs.com/yanshw/p/10576354.html，如有侵权，请联系删除。

三、网络实现

参考博客地址：https://blog.csdn.net/shirleycyy/article/details/79947614，如有侵权请联系删除。