ResNet论文地址:Deep Residual Learning for Image Recognition
MobileNetV1论文地址:MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
MobileNetV2论文地址:MobileNetV2: Inverted Residuals and Linear Bottlenecks
关于这些网络结构的介绍已经有很多了:
而我好奇的是,大神们设计这些网络结构的motivation毕竟是什么?这些设计有灵感来源吗?是直觉还是数学上严格的推导?
ResNet
最早出现的是ResNet,论文中提出的问题是:Is learning better networks as easy as stacking more layers? (学习一个更好的网络像堆叠更多层的网络一样简单吗?)
在那时,梯度消失与梯度爆炸的问题已经被normalized initialization和intermediate normalization layers(Batch Normalization)所大幅度地解决。使用最广泛的深度网络还是10量级的VGG网络。
但是,增加plain