[Quantization]F8Net:Fixed-Point8-Bit Only Multiplication for Network Quantization

cvpr2022
Code
Paper

Abstract

神经网络量化是一种十分有前景的网络压缩技术，可以有效减少内存占用和资源消耗，并且有可能实现实时推理。但是在量化模型和全精度模型之间存在很大的性能差距。为了缩小二者之间的gap，在推理的时候往往需要使用高精度INT32或者全精度，额外增加了内存、速度等方面的成本。本文提出的F8Net是一个新的只使用定点8位乘法的量化框架。本文首先讨论了使用不同格式的定点乘法的优势，研究了不同定点位数的统计行为。其次基于统计数据和算法分析，本文对不同层的权重和激活使用不同的顶点格式，这一过程引入一种新的算法来自动确认。第三，本文分析了之前的一种量化算法——PACT（参数化裁剪激活）并进行了定点数的实现。最后本文将F8Net与最近提出的量化微调算法相比较，在MobieNet V1,V2和ResNet18/50上进行比较。本文逼近与现有的INT32或浮点量化算法相比，还与全精度进行了相比，取得了更好的性能。

Section I Introduction

如何对资源受限的平台进行事实推理在过去几十年得到了广泛的研究，一直在权衡效率和精度。量化作为一种模型压缩技术与网络剪枝或修剪相比更有前景，因为可以实现更大的压缩比，并且更适合整数型硬件。因为许多硬件比如大多数DSP只支持定点算法、整数的加速实现，不支持浮点运算。但是由于量化误差引起的精度性能下降限制了量化算法的应用。
量化算法可以分为三大类，分别是：模拟量化、整数两哈和定点量化。Fig 1展示了三者之间的对比。模拟量化方面建议使用可训练的裁剪级别以及对激活、梯度等进行缩放来进行训练。但是像BN还是需要全精度才能稳定训练因此限制了在纯整数硬件上的应用。

整数量化在推理过程中通过整数乘法、加法额移位实现，尽管避免了浮点操作，但是仍然需要INT32乘法。而定点数两哈无需INT32乘法或整数除法，而是通过移位代替乘法。
本文属于定点量化方法。首先为了确定最小量化误差阈值本文对不同定点位数进行统计分析，其次本文统一了PACT和定点算法从而实现高性能高效率，本文还讨论了针对不同模型的量化微调算法，本文的算法称之为F8Net，因为只包含8位定点数运算，没有INT32也没有浮点类型。而8比特量化是不同设备支持最广泛的一种形式，通常足以满足堆效率和性能的要求。
本文工作总结如下：

（1）本文证明了8位定点数可以保值一个较大范围同时相对误差较小。如果格式选择的恰到好处具有比整数值更强的代表能力。

（2）本文提出一种确定的定点格式-分数长度，基于权重和激活值的方差。这是通过分析统计不同格式的定点值，这样可以帮助本文使用一个近似公式来确定基于方差的分数长度。

（3）本文提出一种新的结合PACT和定点量化算法，展示了分数长度共享对残差模块的影响，这也对模型性能有重要影响。

（4）本文在MobileNet V1/V2和ResNet18/50证明了F8Net的有效性，比INT32等有更好的性能，本文还整合了最提出的量化微调的方法和全精度模型做进一步比较。

Section II Related Work

量化是神经网络压缩广泛使用的一种就是，主要有两种量化方案：Post-Training Quantization和Quantization-Aware Training.

Post-Training Quantization直接对训练好的全精度模型进行量化

Quantization-Aware Training则是使用训练数据来优化量化模型从而获得更好的性能。
本文属于后者。目前量化感知训练主要有以下探索方向：对整个模型使用同一的精度量化，对整个模型的不同层使用不同精度，称之为混合精度。还有一种是二值化网络但是会有比较严重的性能退化。
模拟量化指的是留下部分操作比如BN使用全精度，有助于量化模型的稳定训练，但是限制了量化模型应用到DSP等硬件平台，因为它们并不支持全精度计算。还有使用INT32整数来模拟全精度成大，通过移位操作实现，但是INT32乘法需要超过一次的操作，将会带来额外的延迟。最近有的研究提出将所有的比例因子设置为2的幂次从而进行定点量化，这样可使用INT8甚至INT4实现。

Section III Analysis of Fixed-Point Representation

本节首先介绍定点乘法以及分析一个训练好的全精度模型不同层的权重分布。然后研究使用不同的8比特定点数来近似全精度值，根据随机变量标准差之间的关系变化和最小量化误差来决定最优的顶点个是。最后本文推导出一个基于标准差和定点格式的近似公式。

Part 1 Advantages of Fixed-Point Arithmetic

定点数由字长（位宽）和小数位长构成，分别表示数值范围和数值的精度。定点乘法广泛用于数字信号处理。与整数和浮点数相比，定点数由两大优势：首先两个定点数相乘比两个浮点数相乘更高效，尤其在DSP等计算资源有限的硬件上。其次，定点数具有更强大的表征能力，定点数可以以有几十种不同的实现，但是整数和浮点数只有1种。因此定量量化比纯整数量化更吸引人。从Fig 2(a)可以看出不同层的权重缩放尺度有所不同，从0.1-4不等。

直接使用整数量化不可避免引入相当大的量化误差，如Fig 1©，除非使用INT32等精度更高的数据格式。另一方面使用定点数可以不依赖高精度乘法就减少量化误差，比如不同层的激活值使用不同格式的定点量化，参考Fig 2(b)。

Part 2 Statiscal nalysis for Fixed-Point Format

整数 是定点数小数位宽=0时的一种特殊情况，与限定一了一组值这就严重限制了模型容量。而小数长度部分则进一步增加了能表示的灵活度，因此更适合量化。


Fig 3展示了不同小数长度的8比特的量化误差，可以有以下观察现象：



（1）不同格式的定点数局域不同的最优表示范围、最小相对误差。因为不同位宽控制表示范围大小和分辨率。




（2）数值小适合更大的小数位宽，较大数值适合更小的小数位宽。对于给定的标准方差，较小的分数长度由underflow的风险，较大的分数长度则有溢出的风险。





Part 3 Choosing optimal fixed-point format

基于上述观察结果本文致力于回答下述两个问题：


（1）可以使用具有最小相对误差对应的分数长度获得全精度量化的最优定点量化误差吗？


从Fig 4(a)和4（c）中的红线可以看出，均值为0的正态分布时钟选择最优的定点格式最终的量化误差小于1%。有符号数标准误差的范围是0.1-40，无符号数则是0.1-100.因此使用定点数的最优格式可以达到忽略不计的量化误差。


（2）是否有确定最优分数长度的简便方式？


参见Fig 4(a)和Fig 4©的蓝色曲线我们发现与拐点对应的阈值在标准差的，对数尺度上几乎是对应的。因为不同定点格式能表示的范围是2的幂次，绘制标准差的对数值与最优的分数长度本文发现是线性关系，可以通过以下半经验公式来确定最优的FL。


Section IV Methods

本节讨论本文的定点数量化神经网络的算法，首先分析如何将PACT与定点数量化节，然后用于权重和激活值的量化。最后本文讨论将相邻两层的缩放因子结合起来计算量化有效权重的必要性，尤其是对于一些包含残差块的网络层。

Part 1 Unifying PACT and fixed-point quantization

将x量化为无符号定点数，表示为(WL,FL),分别对应位宽和小数位宽，量化过程表示为：



clip代表截断函数，这种量化方式有两大缺点：溢出和underflow.



溢出由clip造成的，underflow由四舍五入引起的。这两者导致了量化误差，因此本文会对每一层确定最优的小数位宽。
为了获得最优的定点量化效果，本文从最有效的量化方法之一——PACT出发。PACT会在量化过程中使用学习到的截断层次α来裁剪全精度值。




M是一个预定义的缩放因子，负责将[0,1]的值映射到[0.M]
上述两个式子的相似性鼓励我们将二者联系起来：

M=2^WL-1

Part 2 Updating BN and Fractional Length

Double Froward for BN fusion 


为了让整个量化过程仅涉及8比特定点乘法，需要处理BN的缩放因此，主要就是将BN的权重系数和方差融合到卷积层中。这就涉及一个问题，如何自训练过程中确定这一批次的运行数据。本文采用两次前向传播的方式解决，第一次前向计算使用卷积层的量化输入和全精度的权重来计算卷积，使用输出更新BN的统计数据。这样就可以使用有效权重来进行量化，并且第一次前向传播没有进行BP。第二次前向传播将BN的数据融合进卷积层后作为最终输出进行BP。


Updating Fractional Length

 
不同于现有的直接训练小数位宽的工作，本文使用Equa 1在训练期间从当前权重值来推断分数长度；对于激活值的量化则使用一个缓冲器，以0.1动量来更新，类似BN的更新。

Part 3 Relating Scaling Factors between adjacent layers

Equa 4中海油两个额外的参数 本文定义为缩放参数：

其中α是可基于全精度训练的
，这说明缩放因子也是全精度的。为了消除额外计算本文将上述因子融合到量化有效权重中，但是缩放因子用到了两次，一次在量化后重新缩放时一次在量化前。

为了将其完全融合进计算过程需要将相邻两层联系起来：

q-激活值的定点表示



W-全精度权重




n-乘法的总次数




γ-learned weight





β-bias






σ-running standard deviation







μ-running mean








WL-8









Pre-estimating Fractional length
g








如前所述本文会根据激活值的方差计算小数位宽，并且缩放因子依赖于每一层的小数位宽。在Equa 6 中也需要相邻层的缩放因子来量化有效权重。因此在量化训练过程中的有效权重，本文使用存储在buffer中的激活值的小数位宽，而不是取自下一层的输入。










Clpping-Level sharing










如Fig 5所示，残差块有的层有超过两个的子图层，那么自然也需要所有子层的缩放因子来计算父层的有效权重。那么所有子层次不同的缩放因子就是一个问题。为此本文将其中一个层定义为主层，并将其他兄弟层共享主层的clipping level。事实上最好的办法是同时共享clipping level和小数位宽，但是本文发现共享小数位宽会导致很大的性能下降，尤其对于一些深层次网络，如MobileNetV2和ResNet50，这是因为小数位宽有两个作用：一是用于固定缩放因子另一个代表动态范围，使用不同的小数位宽可以有效的实现不同的clipping level，因为激活尺度每层都不一样。
其外不共享小数位宽不会引入过多的计算代价，因此值只在存储格式上有所不同，通常这些值存储在32bit中，只有累加结果被量化为8bit进行乘法。在计算父层有效权重时本文只是用子代中主层的小数位宽，对于每一子层则使用它们自己的输入进行量化。

Section V Experiments

本节将本文的量化算法与其他量化感知算法进行对比。

Conventional training

首先使用常规训练，在ResNet18,MobileNetV1、V2对比结果展示在Table 1，可以看到本文的方法达到最先进的结果，甚至超过全精度的模型。











本文还绘制了每一层权重和激活值的小数位宽，参见Fig 2（b）,可以看到每一层的小数位宽都不一样。具体来说权重量化一些较深层具有较大的有效权值范围，为了避免溢出需要较小的尾数位宽；而对于有的层权值范围较小那么使用较大的小数位宽有助于解决underflow。
此外对于一些层在深度卷积前面，激活的小数位宽比较小，后面需要更大的小数位宽，这进一步验证了本文的发现就是即使同一父层的不同子层使用不同的小数位宽对最终的性能至关重要。

Tiny fine-tuning on full-precision model

近期有工作提出在精心预训练的全精度模型后进行微调，这样可以得出更solid的结论。
因此本文也将本文方法用在全精度并微调了几个epoch的网络模型上，结果展示在Table 2，可以看到本文依旧比之前的方法表现更好。
本文的方法解释了高精度模型的重缩放，不管是基于近似或量化的INT32乘法度不是保证量化算法良好性能的关键。关键是正确的选择每层权重和激活的量化格式，本文的方法更适合在一些只支持整数运算的硬件平台如DSP上部署。

Section VI Conclusion

之前的量化算法主要依赖32位乘法，不管是基于全精度亦或是基于INT32乘法+移位操作。这自然引出一个问题，就是高精度乘法是否是量化模型所必须的，可不可以不适用高精度乘法来节省成本。本文探究了使用8比特定点量化的可能和挑战，提出的F8Net量化的MobieNet，Resnet在ImageNet数据集上均优于其他SOTA的全精度量化方法。并且本文证实了高精度乘法或者浮点计算、二次缩放并不是量化性能的关键影响因素。
未来的一个方向是探究使用更小位宽进行神经网络的量化。