AMiner推荐论文：Non-deep Networks

论文链接：https://www.aminer.cn/pub/616ce5a05244ab9dcbacfa96?f=cs
通过利用并行子结构，该研究首次表明深度仅为 12 的网络可在 ImageNet 上实现超过 80%、在 CIFAR10 上实现超过 96%、在 CIFAR100 上实现 81% 的 top-1 准确率。该研究还表明，具有低深度主干网络的模型可以在 MS-COCO 上达到 48% 的 AP 指标。研究者分析了该设计的扩展规则，并展示了如何在不改变网络深度的情况下提高性能。最后，研究者提供了关于如何使用非深度网络来构建低延迟识别系统的概念证明。
该研究提出了一种深度较低但仍能在多项基准上实现高性能的网络架构 ParNet，ParNet 由处理不同分辨率特征的并行子结构组成。这些并行子结构称为流（stream），来自不同流的特征在网络的后期融合，融合的特征用于下游任务。
ParNet 中使用了 VGG 风格的 block（Simonyan & Zisserman，2015）。为了探究非深度网络是否可以实现高性能，该研究通过实验发现 VGG 风格 block 比 ResNet 风格 block 更合适。一般来说，训练 VGG 风格的网络比 ResNet 更难（He 等，2016a）。但是最近的一些工作表明，使用「结构重参数化」方法（Ding 等，2021），会让 VGG 风格 block 更容易训练。
AMiner,让AI帮你理解科学！https://www.aminer.cn