一、resnet进步之处
resnet引入了残差网络,解决了模型层数增加时出现梯度消失或梯度爆炸的问题。
原文链接:原文链接
通俗进行理解就是在进行epoch迭代时,resnet中,但是当该轮学习效果并不是很好时,令f(x)=0即可,即该轮的学习效果并不进行累加。但是由于是相加的缘故,两者的张量大小必须相同。
在图像处理方面,常用的是采取卷积核为3,padding为1的两个卷积层处理,这样可以不改变张量形状。
BatchNorm2d进行数据的归一化处理,这使得数据在进行Relu之前不会因为数据过大而导致网络性能的不稳定
二、resnet结构
resnet网络中含有很多的的图1结构成为resnet block。其中resnet block的结构不止一种。常见的结构如下: