该论文提出了一种训练二值神经网络（BNN）的方法，其中权重和激活值限于+1或-1。在MNIST，CIFAR-10和SVHN数据集上的实验表明，BNN在减少内存消耗和提高能效的同时，保持了高精度。对比确定性和随机二值化，研究主要采用确定性二值化，但训练过程中的激活可能会使用随机二值化。BNN的梯度计算通过二值权重和激活进行，并使用实数权重的SGD进行更新。尽管sign函数的导数问题，但依然能够通过特定方法传播梯度。
Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or -1
介绍
这篇论文主要作了以下改进：
1.引入一种训练二值神经网络的方法。在运行时，以及在训练的过程中计算参数梯度时，神经网络具有二值的权重和激活值。
2.做了两套实验，每一套在不同的框架下完成，分别是Torch7以及Theano,他们在基于MNIST ，CIFAR-10,SVHN等数据集上训练BNN时都几乎实现了最佳的结果。
3.在前传的时候（不管是在运行还是在推断的时候），BNN极大地减少了内存的消耗（大小以及访存数），把大多数的算术操作以bit位运算代替，这极大地增加了能效。精心设计的硬件能够减少60%的时间复杂度
4.MNIST BNN的速度是未经优化的GPU核的7倍，而分类精确度却不会损失。
1.1 Deterministic vs Stochastic Binarization 确定二值与随机二值
Deterministic Binarization
Stochastic Binarization
随机二值化看起来好&#
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
