1. ParNetAttention介绍
1.1 摘要:深度是深度神经网络的标志。但是,深度越大,意味着顺序计算越多,延迟也越长。这就引出了一个问题--有没有可能建立高性能的“非深度”神经网络?我们证明了这一点。为此,我们使用并行子网,而不是一层接一层堆叠。这有助于在保持高性能的同时有效地减少深度。通过使用并行子结构,我们首次证明,深度仅为12的网络在ImageNet、CIFAR 10和CIFAR 100上的准确率分别超过80%、96%和81%,可达到前1名的准确率。我们还表明,具有低深度(12)骨干网的网络可以在MS-COCO上实现48%的AP。我们分析了我们的设计的扩展规则,并展示了如何在不改变网络深度的情况下提高性能。最后,我们为如何使用非深度网络构建低延迟识别系统提供了一个概念证明。