恒源云(GPUSHARE)_【ECCV 2020】MobileNeXT 论文学习笔记

文章来源 | 恒源云社区（专注人工智能/深度学习云GPU服务器加速平台，官方免费体验网址：恒源云_GPUSHARE-恒源智享云）

原文地址 | 【ECCV 2020】MobileNeXT 论文学习笔记（学霸季奖励计划）

在本文中，我们将深入探讨在ECCV 2020上发布的对最近流行的MobileNet体系结构（即MobileNeXt）进行的改造。

尽管深度神经网络的许多最新进展都倾向于优先考虑性能而不是复杂性，但社区中仍然存在着使深度神经网络更便宜，更高效地用于较小设备的火花。高效神经网络的研究方向多种多样，从二进制神经网络和高效网络到基于组件的研究（例如PyConv和Depthwise卷积层）。经受时间考验的一项工作是MobileNet模型的集合，其中包括MobileNet，MobileNetV2和MobileNetV3。

在本文中，我们将在ECCV 2020上发布新条目MobileNeXt，以继续在MobileNet系列模型中取得进步。我们将首先回顾一下残差网络和MobileNetV2的瓶颈结构，并讨论它们之间的差异。接下来，我们将介绍在MobileNeXt中提出的经过重新设计的瓶颈结构，然后再深入研究SandGlass块的PyTorch实现。我们将通过研究本文所观察到的结果来总结本文，并附上该模型的缺点。

Bottleneck Structures

高性能神经网络体系结构的第一个主要出现无疑是残差网络（称为ResNet）。残差网络一直是现代神经网络体系结构的基础和圣经。这些网络中提出的剩余层由于其改善信息传播的能力而存在于所有新颖的体系结构中。

ResNet提出了一个基本的基本可移植结构，称为“残差块”。残差块有两种变体，如上图所示；残差块v1和残差块v2。残差块v1主要用于在CIFAR数据集上评估的较小的ResNet模型，而残差块v2是用于基于ImageNet的模型的讨论最多的块结构。从现在开始，当我们提到残差块时，我们将参考残差块v2，以使讨论与基于ImageNet的模型相关。

让我们将此“残差瓶颈”分解为它的核心组件，这些组件包括主分支(main branch)和残差连接( residual connection)（也称为“快捷连接”）。

Main Branch

如上所示，在残差块中，输入首先经过$（1 x 1）$点向卷积运算符（注意：点向卷积不影响输入