AMiner论文推荐

论文名称：NON-DEEP NETWORK
论文链接：
https://www.aminer.cn/pub/616ce5a05244ab9dcbacfa96?f=cs
本文是普林斯顿大学的Jia Deng团队的最新力作ParNet：它凭借12层的深度网络在ImageNet上达到了80.7%的top-1精度 。所提ParNet以RepVGG的模块为出发点，同时提出了针对非深度网络设计的SSE模块构建了一种新型的模块RepVGG-SSE 。所提方案凭借非常浅的结构取得了非常高的性能，比如：ImageNet的80.7% ，CIFAR10的96%，CIFAR100的81%，MS-COCO的48%。此外，作者还分析了该结构的缩放规则并说明了如何不改变网络提升提升性能。最后，作者还提供了一份证明：非深度网络如何用于构建低延迟识别系统。
Abstract
Depth(深)是深度神经网络的标志 。但是，更深意味着更多的计算量、更高的推理延迟。这就引出了一个问题：是否有可能构建一个高性能的Non-deep(非深度)神经网络呢 ？本文研究表明：可以 ！
为达成上述目标，我们采用了并行子网络 (而非串行)。这种处理方式可以有效降低深度同时保持高性能。
本文提出了一种的新架构ParNet：更浅的同时具有高性能 。ParNet包含用于处理不同分辨率输入的并行子结构，我们将这些并行子结构称之为streams 。不同streams的特征在网络的后期进行融合，融合的特征将用于下游任务。
为探索非深度网络是否可以取得高性能，我们发现VGG风格模块比ResNet风格模块更适合该方案 。因此，ParNet采用了类VGG模块。一般来讲，VGG风格网络要比ResNet的训练难度更大；而结构重参数化(如RepVGG)可以有效解决该训练难问题。
因此，我们从RepVGG中出发并对其进行修改以使其更适合于非深度架构。非深度网络的一个挑战在于：卷积的感受野非常有限。为解决该问题，我们在SE注意力基础上构建了一个Skip-Squeeze-Excitation (SSE)。由于常规的SE会提升网络深度，因此，常规SE并不适用于我们的架构。所提SSE结构示意图见上图Figure2右，它附加在跳过连接分支上仅包含一个全连接层。我们发现：这种结构设计有助于提升模型性能。我们将上述所构建的模块称之为RepVGG-SSE。
对于大尺度数据集而言，非深度网络可能不具备足够的非线性能力，进而限制其表达能力。因此，我们采用SiLU替代ReLU 。
AMiner,让AI帮你理解科学！https://www.aminer.cn