1-bit sgd 梯度量化

原论文：1-Bit Stochastic Gradient Descent  and its Application to Data-Parallel Distributed Training of Speech DNNs

该文的核心思想就是将32位单精度浮点数压缩成1位，从而降低训练过程的数据交换开销。为了进一步降低通信开销，作者设定在节点间只进行梯度的交换，不进行模型参数的交换。为了降低量化误差带来的负面影响，作者使用了误差补偿技术：每次量化时，把上一次迭代的量化误差加到本次迭代的梯度上，然后再进行量化，接着求出本次量化操作的误差。这种误差补偿机制可以确保所有的梯度都会再一定程度上对模型更新产生作用，只不过这种作用分散在不同的迭代中——类似于一种延迟更新的形式。作者指出，使用误差补偿后，就可以在几乎不损失模型精度的情况下将梯度由32位量化成1位。