BinaryConnect： Training Deep Neural Networks with binary weights during propagations

1 Introduction

      深度神经网络（DNN）大大推动了广泛的任务的state-of-the-art，特别是在语音识别[1,2]和计算机视觉方面，特别是图像中的物体识别[3,4]。最近，深度学习在自然语言处理方面取得重要进展，特别是统计机器翻译[5,6,7]。有趣的是，造成这一重大进展的关键因素之一是图形处理单元（GPU）的出现，加速10到30倍，从[8]开始，类似的改进与分布式训练[9，10]。事实上，在更多数据上训练大型模型的能力使得观察到了过去几年中的这种突破。今天，设计新的深度学习算法和应用程序的研究人员和开发人员经常发现自己受到计算能力的限制。随着在低功耗设备（不同于GPU）放置深度学习系统的推动，大大增加了针对深层网络的专业硬件研发的兴趣[11,12,13]。
       在深层网络的训练和应用过程中进行的大部分计算都考虑了实值权重乘以实值激活（在识别或者反向传播算法的前向传播阶段）或梯度（在反向传播算法的后向传播阶段）。本文提出了一种称为BinaryConnect的方法，通过强制将这些正向和反向传播中使用的权重二值化，即仅限于两个值（不一定是0和1）来消除对这些乘法的需要。我们展示了可以在置换不变的MNIST，CIFAR-10和SVHN上，BinaryConnect实现state-of-the-art的结果。