⭐ ResNet
参考文献:《Deep Residual Learning for Image Recognition(2015)》
ResNet即深度残差网络,由何凯明于2015年底提出,一经问世,就在ImageNet中斩获图像分类、检测、定位三项冠军。其最大特点就是非常深,常用的有ResNet-50和ResNet-101。
✔️诞生背景
AlexNet带火了深度学习,其特点是通过数据驱动让模型自动学习特征,网络的深度对学习表达能力更强的特征至关重要,特征图深度的增加使每层输出中可用的特征数量增多。然而增加深度会带来梯度爆炸/消散问题,为此BachNorm、ReLu、Xaiver初始化等可以较好的解决梯度消散问题。网络深度的增加还会带来网络退化问题,即随着深度的增加网络的性能会越来越差(并非过拟合),ResNet因此应运而生。至少不会变得更差。
✔️网络结构
ResNet的网络架构如上所示,其基本结构由下图所示的ResNet块堆叠而成。左边为基础的VGG,中间为基于VGG扩增至34层的普通网络,右边为34层的残差网络(每隔两层会有一个residual块)。ResNet网络配置如下所示: