原文链接:
ResNext-论文详解mp.weixin.qq.com![e7282b113e998425282406dec7db6211.png](https://i-blog.csdnimg.cn/blog_migrate/1ebec1bb0b0ae3f49856e20d0d0f27e4.jpeg)
标题:《Aggregated Residual Transformations for Deep Neural Networks》
时间:2017
出版源:CVPR 2017
论文领域:分类网络(Classification)
arXiv(Paper): https://arxiv.org/abs/1611.05431
我们提出了一种用于图像分类的简单,高度模块化的网络体系结构。我们的网络是通过重复构建模块来构建的,该模块聚集了具有相同拓扑的一组转换。我们的简单设计导致了同质的多分支架构,仅需设置几个超参数。这种策略提供了一个新的维度,我们将其称为“基数”C(转换集的大小),它是深度和宽度维度之外的一个重要因素。在ImageNet-1K数据集上,我们根据经验表明,即使在保持复杂性的限制条件下,增加基数也可以提高分类精度。此外,当我们增加容量时,增加基数比深入或更广泛更有效。我们名为ResNeXt的模型是我们参加ILSVRC 2016分类任务的基础,在该任务中我们获得了第二名。我们进一步研究了ImageNet-5K装置和COCO检测装置上的ResNeXt,其结果也比其ResNet同类产品更好。
视觉识别的研究正在从“功能工程”过渡到“网络工程”。随着超参数(width2,滤波器大小,步幅等)数量的增加,设计架构变得越来越困难,尤其是当层数很多时。VGG-nets [36]展示了构建非常深的网络的简单而有效的策略:堆叠相同形状的构建块。该策略由ResNets [14]继承,后者堆叠相同拓扑的模块。这个简单的规则减少了对超参数的自由选择,并且深度被公开为神经网络的基本维度。
尽管精度很高,但是Inception模型的实现伴随着一系列复杂的因素-过滤器的数量和大小是为每个单独的转换量身定制的,并且模块是逐步定制的。尽管这些组件的精心组合产生了出色的神经网络配方,但是通常不清楚如何使Inception架构适应新的数据集/任务,尤其是在要设计许多因素和超参数时。
目的:
在本文中,我们提出了一种简单的体系结构,该体系结构采用VGG / ResNets的重复层策略,同时以简单,可扩展的方式利用拆分转换合并策略。我们网络中的一个模块执行一组转换,每个转换都在低维嵌入中进行,其输出通过求和进行汇总。我们追求这个想法的简单实现-要聚合的转换都具有相同的拓扑(例如,图1(右))。这种设计使我们无需特殊设计即可扩展到任何数量的转换。
改善结构如下: