残差网络--ResNeXt
一、ResNet、ResNeXt介绍
1.1 ResNet 的结构
ResNet 采用模块化的思维来替代整体的卷积层,通过一个个模块的堆叠来替代不断增加的卷积层。按照残差模块堆叠数量的不同,产生了不同深度的ResNet网络,如ResNet-18、ResNet-34、ResNet-50、ResNet-101和ResNet-152,其中所有的网络都可以分为5部分,分别是conv1、conv2_x、conv3_x、conv4_x、conv5_x。
1.2 ResNeXt的结构
ResNeXt是在ResNet上做出的改进,在结构上有两个特点。
首先,采用了“分割-转换-合并”模式,先将输入通道进行分组,然后对每一组进行卷积运算,最后输出神经元对所有分组的元素值求和进行合并。其次,继承了ResNet的重复堆叠网络模块的策略,
但不同的是,采用了一种平行堆叠相同拓扑结构的模块替代了ResNet的三层卷积模块,增加了路径的数量,每个路径上使用相同的拓扑结构组建分组卷积。这种独特的结构使得残差网络ResNeXt可以在不增加参数复杂度的前提下提高准确率,同时相同的拓扑结构减少了超参数的数量,便于模型移植。
两种残差块结构对比如下: (a)