【深度学习——BNN】：二值神经网络BNN——学习与总结

最近一直在做深度学习的FPGA布署，偶然研读到Bengio大神的著作《Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or −1》：

链接：https://arxiv.org/abs/1602.02830

关于BNN，已经有不少前辈做了mark，根据这几天的学习，做了一下整理。

二值神经网络是在CNN的基础上，对权值和激活值（特征值）做二值化处理，即取值是+1或-1。BNN网络结构与CNN相同，主要在梯度下降、权值更新、卷积运算上做了一些优化处理。

1.二值化

所谓二值化，就是权值和激活值只能取+1或-1，作者指明，二值化，有两种方法：①Deterministic（确定法）；②Stochastic（统计法）。

Deterministic（确定法）：大于等于0，取+1；否则，取-1。

Stochastic（统计法）：以一定的概率 ，取+1，或-1。

虽然Stochastic（统计法）更合理，但是，实际操作需要用硬件生成随机数，比较困难，所以在这篇paper中，作者采用的是Deterministic（确定法）。

在前向传播过程中，经Deterministic（确定法）的Sign函数，可以将实数型的权值和激活值量化成+1，-1，当用于预测时，参数值仅为+1或-1，可以减小参数的内存占用和存取量；但是，训练时，仍需要对实数型的权值和激活值计算梯度，并以此更新权值。