2018：MIXED PRECISION TRAINING OF CONVOLUTIONAL NEURAL NETWORKS USING INTEGER OPERATIONS利用整数运算对卷积神经网络

@[TOC](2018：MIXED PRECISION TRAINING OF CONVOLUTIONAL NEURAL NETWORKS USING INTEGER OPERATIONS(利用整数运算对卷积神经网络进行混合精度训练)论文阅读—未完待续！！！)

Abstract

用于混合精度训练的最先进的(SOTA)主要是各种低精度浮点运算，特别是FP16积累为FP32 Micikevicius等人(2017)。另一方面，虽然在低精度和混合精度Integer训练领域也发生了很多研究，但这些工作要么针对非sota网络(例如仅针对ImageNet-1K的AlexNet)，要么针对相对较小的数据集(如cipf -10)。在这项工作中，我们在ImageNet-1K数据集上训练最先进的视觉理解神经网络，并在通用(GP)硬件上使用Integer操作。特别地，我们关注整数融合乘加(FMA)操作，它接受两对INT16操作数并将结果累积为INT32输出。我们提出了张量的共享指数表示，并开发了一种适用于常见神经网络操作的动态不动点(DFP)方案。研究了开发高效整数卷积核的细微差别，包括处理INT32累加器溢出的方法。实现ResNet-50、GoogLeNet-v1、VGG-16、AlexNet的CNN训练;这些网络在与FP32相同的迭代次数内达到或超过SOTA精度，而超参数没有任何变化，端到端训练吞吐量提高了1.8倍。据我们所知，这些结果代表了第一个使用SOTA cnn的GP硬件ImageNet-1K数据集的INT16训练结果，并使用半精度表示实现了最高的报告精度。