【深度】清华黄高等人新作：动态神经网络首篇综述

本文介绍我们近日于 arxiv上线的一篇论文 《Dynamic Neural Networks: A Survey》。

传统的静态网络（如人们熟知的ResNet, DenseNet）在测试阶段对所有的输入样本均采用相同的网络架构与参数。与静态模型不同的是，动态网络可以根据不同样本调节自身的结构/参数，从而在运算效率、表达能力等方面展现出卓越的优势。

根据自适应推理的方式，文章将动态网络分为三类：样本自适应，空间自适应以及时间自适应。文章回顾了动态网络中一些重要的研究问题，如结构设计、决策方式、训练策略以及应用，并对领域内的开放性问题与未来研究方向进行了探讨。

为适应微信读者的阅读习惯，本文为综述内容的缩减版本，详细内容请可在「智源研究院」知乎号查看：https://zhuanlan.zhihu.com/p/354507714

本文作者：Yizeng Han, Gao Huang

图 1 综述整体框架

01

内容简介

近年来我们不断见证了越来越强大的神经网络模型，如 AlexNet, VGG, GoogleNet , ResNet , DenseNet 以及最近大火的 Transformer 等。

然而，大多数流行的深度网络都具有相同的静态推理范式：训练完成后，网络的结构与参数在测试阶段保持不变，这在一定程度上限制了模型的表征能力、推理效率和可解释性。

动态网络可以在推理阶段根据输入，自适应地调节自身的结构/参数，从而在以下方面具有静态网络无法享有的良好特性：

• 运算效率。通过选择性地激活不同模块，动态模型可以按需分配计算。

• 表达能力。通过调节网络的结构/参数，动态模型可以拥有更强的表达能力。

• 自适应性。动态网络可以在面对变化环境时实现模型精度 vs 效率的动态平衡。

• 兼容性。动态网络并非“另起炉灶”，而是与深度学习领域其他的先进技术相兼容。

• 通用性。动态网络可以被用于多个任务中，如视觉中的图像分类、目标检测、语义分割等。视觉领域中发展起来的技术可以被拓展至 NLP领域，反之亦然。

• 可解释性。鉴于有研究指出生物大脑处理信息的动态机制，关于动态网络的研究可能会帮助人们在深度模型和大脑的内在运行机制之间架起一座桥梁。

事实上，动态网络的核心思想——自适应推理，在深度网络流行之前已有一定研究。最典型的做法是构建多个模型的动态集成，并根据输入自适应地激活这些模型。在深度学习中，尽管各种各样的动态网络已经被设计并取得一定成功，该领域仍然缺少一个系统而全面的综述。

论文地址：https://arxiv.org/abs/2102.04906v2

我们希望通过《Dynamic Neural Networks: A Survey》这篇综述可以：

• 为感兴趣的研究人员提供领域概述和新的视角；

• 指出不同子领域之间的关系，减少重复造轮子的风险；

• 总结主要挑战和未来可能的研究方向。

02