Papper1:ResNet Notes

ResNet Notes

  1、本篇论文的背景：这篇文章是2016年CVPR的最佳论文，作者是来自微软亚洲研究院的何恺明，张祥雨，任少卿和孙剑。这篇论文题目是《Deep Residual Learning for Image Recognition(用于图像识别的深度残差学习)》，文章中提到的深度残差网络ResNet在2015年ImageNet和CoCo两个竞赛的五个赛道中都获得了冠军。

2、ResNet主要解决的核心问题是网络退化和训练问题，主要解决办法是引入了残差模块。在文章中，没有引入残差模块的普通深度神经网络在CIFAR-10数据集上出现了随着网络层数的加深，在训练集和测试集上效果都变差的现象（也就是网络退化），在现实生活中类似于父母给孩子报了很多辅导班但是不仅孩子考试结果变差了，甚至在学的时候学习的效果都没有不报班之前的好。

因此，作者何恺明提出了一种尝试解决退化问题的方案：

图1-一种解决退化的方案

图2-Plan network层数加深效果

图3-ImageNet上模型对比

图4-CIFAR-10上模型对比（超深ResNet最右侧不算网络退化吗？）

而在深度残差模型中每层都学习相对于本层输入的残差，然后与本层输入加法求和，残差学习可以加快优化，加深层数，提高准确度。

要注意区别过拟合、梯度消失与网络退化现象的区别。过拟合是模型在训练集上表现很好但是在测试集上效果很差，梯度消失是网络不能收敛，网络退化是模型在训练集和测试集上的效果都不好，是深度网络特有的一个现象。

1. ResNet解决网络退化的机理？

①深层梯度回传顺畅 恒等映射这一路的梯度是1，把深层梯度注入底层，防止梯度消失，没有中间商层层盘剥。 ②类比与其它机器学习模型 集成学习boosting,每一个弱分类器拟合前面的模型与GroundTruth(标签值)之差。 长短时记忆神经网络LSTM的遗忘门。（LSTM一种循环神经网络用来处理序列数据） Relu激活函数（当x大于0的时候输出其本身，当x小于0的时候输出0，重要的时候输出，不重要的时候就把它抹平&#