接上一节内容:Pytorch搭建常见分类网络模型------VGG、Googlenet、ResNet50 、MobileNetV2(2)_一只小小的土拨鼠的博客-CSDN博客
前言:深层神经网络的每一层分别对应于提取不同层次的特征信息,有低层,中层和高层,而网络越深的时候,提取到的不同层次的信息会越多,而不同层次间的层次信息的组合也会越多。可是深层神经网络却出现了梯度消失和梯度爆炸的问题,网络的效果变得越来越差,甚至出现了网络的退化问题,传统对应的解决方案则是数据的初始化(normlized initializatiton)和(batch normlization)正则化,但是这样虽然解决了梯度的问题,却带来了另外的问题,就是网络性能的退化问题,深度加深了,错误率却上升了。