sgd 参数 详解_Resnext-论文详解

原文链接：

ResNext-论文详解​mp.weixin.qq.com

标题：《Aggregated Residual Transformations for Deep Neural Networks》

时间：2017

出版源：CVPR 2017

论文领域：分类网络（Classification）

arXiv(Paper): https://arxiv.org/abs/1611.05431

我们提出了一种用于图像分类的简单，高度模块化的网络体系结构。我们的网络是通过重复构建模块来构建的，该模块聚集了具有相同拓扑的一组转换。我们的简单设计导致了同质的多分支架构，仅需设置几个超参数。这种策略提供了一个新的维度，我们将其称为“基数”C（转换集的大小），它是深度和宽度维度之外的一个重要因素。在ImageNet-1K数据集上，我们根据经验表明，即使在保持复杂性的限制条件下，增加基数也可以提高分类精度。此外，当我们增加容量时，增加基数比深入或更广泛更有效。我们名为ResNeXt的模型是我们参加ILSVRC 2016分类任务的基础，在该任务中我们获得了第二名。我们进一步研究了ImageNet-5K装置和COCO检测装置上的ResNeXt，其结果也比其ResNet同类产品更好。

视觉识别的研究正在从“功能工程”过渡到“网络工程”。随着超参数（width2，滤波器大小，步幅等）数量的增加，设计架构变得越来越困难，尤其是当层数很多时。VGG-nets [36]展示了构建非常深的网络的简单而有效的策略：堆叠相同形状的构建块。该策略由ResNets [14]继承，后者堆叠相同拓扑的模块。这个简单的规则减少了对超参数的自由选择，并且深度被公开为神经网络的基本维度。

尽管精度很高，但是Inception模型的实现伴随着一系列复杂的因素-过滤器的数量和大小是为每个单独的转换量身定制的，并且模块是逐步定制的。尽管这些组件的精心组合产生了出色的神经网络配方，但是通常不清楚如何使Inception架构适应新的数据集/任务，尤其是在要设计许多因素和超参数时。

目的：

在本文中，我们提出了一种简单的体系结构，该体系结构采用VGG / ResNets的重复层策略，同时以简单，可扩展的方式利用拆分转换合并策略。我们网络中的一个模块执行一组转换，每个转换都在低维嵌入中进行，其输出通过求和进行汇总。我们追求这个想法的简单实现-要聚合的转换都具有相同的拓扑（例如，图1（右））。这种设计使我们无需特殊设计即可扩展到任何数量的转换。

改善结构如下：