Flexpoint: An Adaptive Numerical Format for Efficient Training of Deep Neural Networks:弯曲点：一种有效训练深度神

Abstract

深度神经网络通常以32位浮点格式开发和训练。通过对深度学习优化的数值格式进行训练和推理，可以显著提高性能和能源效率。尽管近年来在有限精度推理方面取得了进展，但低比特宽度神经网络的训练仍然是一个具有挑战性的问题。在这里，我们提出了Flexpoint数据格式，旨在完全替代32位浮点格式训练和推断，旨在不经修改地支持现代深度网络拓扑。Flexpoint张量有一个可动态调整的共享指数，以最小化溢出并最大化可用的动态范围。我们通过训练AlexNet[1]、深度残差网络[2,3]和生成式对抗网络[4]来验证Flexpoint，使用neon深度学习框架实现的模拟器。我们演示了16位Flexpoint在训练所有三个模型时与32位浮点非常匹配，而不需要调整模型超参数。我们的结果表明，Flexpoint对于未来的硬件训练和推断来说是一种很有前途的数字格式。

1 Introduction

深度学习是一个快速发展的领域，在解决多个行业的许多关键数据驱动问题方面取得了最先进的性能。随着主要芯片制造商对用于深度学习的新型硬件架构的追求，未来几年将出现新的计算设备，这些设备优化了深度神经网络的训练和推理，性能越来越好，成本越来越低。

通常，深度学习研究是在CPU和/或GPU架构上进行的，这些架构提供本地的64位、32位或16位浮点数据格式和操作。通过更高效的数据格式，可以在硬件占用、功耗、速度和内存需求方面获得实质性的改进。这就需要专门针对深度学习需求的数字表示和操