"Bi-Real Net: Enhancing the Performance of 1bit CNNs with Improved Representational Capacity and Advanced Training Algorithm"这篇文章针对XNOR-net的缺陷,在网络结构及优化训练方面做了一系列增强与改进,具体包括引入one layer per block形式的shortcut连接、采用二次函数拟合实数激活的sign操作、在更新实数权重时引入实数权重的幅度、以及预训练模型采用clip函数替代ReLU予以训练,从而在实现网络权重与激活输出二值化的同时,确保了较高的推理精度,尤其是在大型数据集(ILSVRC ImageNet)上的表现。
如上图所示,深度网络的权重与激活经二值化之后,能够极大降低参数与激活对存储的占用消耗(memory footprint),其次卷积计算也简化为XNOR与bit-counting操作,因而非常有利于深度网络的推理部署,尤其是在资源受限、能效要求极高的移动设备上。XNOR-net、ABC-net等是目前较为领先的二值化网络,文章所提出的Bi-Real Net则是XNOR-net的后续演进与增强,首先网络结构上实现了one layer per block形式的shortcut连接,即当前1bit convolution或BN输出的实数结果与下一个1bit convolution或BN输出的实数结果直接相加,从而增加了网络的数值表示范围(Value Range),