Resnet网络理解

最近看了何凯明大神的Resnet写篇博客记录一下便于以后学习。

Introduction

近两年来，随着深度学习不断火热，人们发现网络的深度往往对模型的效果有着质的影响，网络越深模型的效果就会越好，这通常是由于随着网络的加深可以学习到更加高级的feature。但是，随着网络的加深也会伴随着一定的问题。第一个问题就是梯度消失以及梯度爆炸的问题，这个问题我们可以通过normalized initialization以及intermediate normalization等方法解决。第二个问题就很棘手了，人们发现随着网络的加深，模型的准确率开始饱和甚至开始下降，但是这并不是overfitting导致的因为训练准确率也在下降，如果是overfitting的话，训练准确率应该不会下降的。

在这种情况下作者提出了resnet。

1.网络结构

首先我