messyking的博客

原创 入门ResNet，在Cub200数据集上复现Resnet50

1.背景问题 (1).如果只是单纯地把卷积层和池化层进行堆叠，造成的问题就会有梯度消失和梯度爆炸，梯度消失是指当在某一层进行BP的时候，误差为一个小于零的数，那不断相乘，就会趋近于零。梯度爆炸则是指某一层的开始误差都是大于1的数，直接相乘就会导致梯度爆炸。这种情况的处理方法就是对数据进行标准化处理和bn标准化处理特征图。 (2).退化问题就是本来训练到20层已经达到了99%，但是30层训练之后的正确率反而小于99%。resnet通过残差结构(就是那条捷径)解决了退化问题，使之层数增加，准确率是一直增加。所以