ResNet学习记录

1.ResNet是什么？

• ResNet = Residual Network残差网络，2015年由何凯明提出的深度卷积网络，一经出世，便在ImageNet中斩获图像分类、检测、定位三项的冠军。

• 随着网络的加深，梯度的大小(范数)急剧下降，这被称为梯度消失，这会导致学习速率非常缓慢。在极少数情况下也会出现梯度急剧上升，即梯度爆炸现象。表现在训练集上的准确度相较于浅层网络不但没有提高，反而会下降。

• 残差网络就是一种为了解决网络加深梯度消失现象而提出的网络。

2.残差指的是什么？

• ResNet提出了两种mapping：一种是恒等映射identity mapping，指的就是图中”弯弯的曲线”shortcut
  connection快捷方式连接，另一种剩余映射residual mapping，指的就是除了”弯弯的曲线“那部分，所以最后的输出是 y=F(x)+x
• identity mapping顾名思义，就是指本身，也就是公式中的x
• residual mapping指的是“差”，也就是y−x，所以残差指的就是F(x)部分
  

3.ResNet主要解决的问题

• 随着网络深度增加，出现了这样一个问题：是不是堆叠更多的层就一定能学习一个更好的网络呢？ 如上图所示，答案是否定的。

• 核心是解决了增加深度带来的副作用（退化问题），这样能够通过单纯地增加网络深度，来提高网络性能。