Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or -1
介绍
这篇论文主要作了以下改进:
1.引入一种训练二值神经网络的方法。在运行时,以及在训练的过程中计算参数梯度时,神经网络具有二值的权重和激活值。
2.做了两套实验,每一套在不同的框架下完成,分别是Torch7以及Theano,他们在基于MNIST ,CIFAR-10,SVHN等数据集上训练BNN时都几乎实现了最佳的结果。
3.在前传的时候(不管是在运行还是在推断的时候),BNN极大地减少了内存的消耗(大小以及访存数),把大多数的算术操作以bit位运算代替,这极大地增加了能效。精心设计的硬件能够减少60%的时间复杂度
4.MNIST BNN的速度是未经优化的GPU核的7倍,而分类精确度却不会损失。
1.1 Deterministic vs Stochastic Binarization 确定二值与随机二值
Deterministic Binarization
Stochastic Binarization
随机二值化看起来好&#