TPAMI 2024 | 混合精度神经网络框架的最新研究综述

论文信息

题目：A Review of State-of-the-Art Mixed-Precision Neural Network Frameworks

混合精度神经网络框架的最新研究综述

作者：Mariam Rakka, Mohammed E. Pramod Khargonekar, Fadi Kurdahi

论文创新点

1. 收集、调查和总结早期和最近的关于MXPDNNs的工作；
2. 通过评论每个编译框架的优缺点来比较不同的MXPDNN框架；
3. 比较表现最佳的MXPDNNs与表现最佳的BNNs并讨论未来的研究方向。

摘要

混合精度深度神经网络（DNNs）为硬件部署提供了一种高效的解决方案，特别是在资源受限的情况下，同时保持模型的准确性。然而，鉴于模型、数据集和量化方案的广泛性，确定每层的理想位精度仍然是一个挑战，导致搜索空间巨大。近期文献针对这一挑战提出了几种有前景的框架。本文全面概述了现有研究中普遍存在的标准量化分类