ResNet
Deep Residual Learning for Image Recognition(CVPR 2015)速达>>
残差结构
网络架构
实验
ResNeXt
论文:Aggregated Residual Transformations for Deep Neural Networks(CVPR 2017)
出发点:不增加FLOPs的情况下,通过改善结构,优化特征提取,增加精度
Blocks of ResNeXt
改进结构类似 Inception ,但这里是拆分成一系列一样的结构,后面证明这样的结构确实能更有效地提取特征
下面三种结构理论上的等价,下图(c)表达更加简洁,实现速度更快
网络架构
ResNeXt与ResNet相比,FLOPs基本差不多,但是实测速度却慢很多,ShuffleNet v2有相关讨论。
相关实验
参考文献
【1】详解残差网络
【2】深度可分离卷积
【3】深度学习中的卷积方式
【4】ShuffleNet v2
【5】Resnet到底在解决一个什么问题呢?
【6】理解分组卷积和深度可分离卷积如何降低参数量
【7 】The Shattered Gradients Problem:If resnets are the answer, then what is the question?(论文)