深度学习综述：Computation-efficient Deep Learning for Computer Vision: A Survey

论文作者：Yulin Wang,Yizeng Han,Chaofei Wang,Shiji Song,Qi Tian,Gao Huang

作者单位：Tsinghua University; Huawei Inc.

论文链接：http://arxiv.org/abs/2308.13998v1

内容简介：

在过去的十年中，深度学习模型取得了显著进展，在多种视觉感知任务中达到甚至超过了人类水平的表现。这一显著进步引发了将深度网络应用于实际应用领域的兴趣，如自动驾驶汽车、移动设备、机器人和边缘计算。然而，挑战在于现有的先进模型通常需要大量的计算资源，在实际场景中可能导致不切实际的功耗、延迟或碳排放。在效果和效率之间的权衡促使出现了一个新的研究重点：计算效率高的深度学习，旨在在推理过程中实现令人满意的性能同时最小化计算成本。

本综述通过检视四个关键领域，对这个迅速发展的领域进行了广泛的分析：

1. 开发静态或动态轻量级骨干模型，以有效提取具有区分性的深度表示；
2. 为特定的计算机视觉任务量身定制的专用网络架构或算法；
3. 用于压缩深度学习模型的技术；
4. 在硬件平台上部署高效的深度网络的策略。

此外，本综述还就该领域面临的关键挑战进行了系统讨论，如网络架构设计、训练方案、实际效率和更加现实的模型压缩方法，以及潜在的未来研究方向。