这篇文章的动机是:作者认为,低位量化时如果同时对权重和激活值进行量化,因为量化是一个阶梯函数,那么在使用SGD训练时,梯度的微小变化并不能很好地反应到量化的参数上。因此激活值梯度的方差就会很大,导致SGD很难收敛。
为了解决这个问题,作者将其分为两步进行:首先对激活值进行量化,接着对权重进行量化。
Sparse Quantization for Code Learning
在这一步时,作者先使用全精度的权重,对激活值进行量化。
作者发现,稀疏度(sparsity)的作用很大,而且更大的激活值对网络的影响更大。所以虽然常用的ReLU激活函数已经提供了50%的稀疏度,作者还是使用阈值方法对其进行了稀疏处理。
那么一个问题就是,如何选取ε。
作者从HWGW的文章里找到了思路:在进行BN操作后,可以认为输出符合一个标准正态分布。那么定义以下函数:
它是一个标准正态分布的累积分布函数,θ代表了这个分布被归零的比例,所以ε的定义问题就转换为θ的定义问题。作者做了如下实验: