高效的深度学习：将深度学习模型变得更小、更快、更好的综述

©PaperWeekly 原创 · 作者 | 王馨月

学校 | 四川大学本科生

研究方向 | 自然语言处理

摘要

深度学习彻底改变了计算机视觉、自然语言理解、语音识别、信息检索等领域。然而，随着深度学习模型的逐步改进，它们的参数数量、延迟、训练所需的资源等都大幅增加。

因此，关注模型的这些内存印迹指标，而不仅仅是其质量，也变得很重要。我们提出并推动了深度学习中的效率问题，然后对模型效率的五个核心领域（跨度建模技术、基础设施和硬件）及其开创性工作进行了全面综述。

我们还提供了一个基于实验的指南和代码，供从业者优化他们的模型训练和部署。我们相信这是高效深度学习领域的第一次全面综述，覆盖从建模技术到硬件支持的模型效率领域。我们希望这份调查能够为读者提供思维模型和对该领域的必要理解，以应用通用效率技术立即获得显着改进，并为他们提供进一步研究和实验的想法，以获得额外的收获。

论文标题：

Efficient Deep Learning: A Survey on Making Deep Learning Models Smaller, Faster, and Better

论文作者：

Gaurav Menghani

论文链接：

https://arxiv.org/abs/2106.08962

引言

<