Using Pre-trained Full-Precision Models to Speed UpTraining Binary Networks For Mobile Devices论文阅读笔记

1.介绍

近年来在将模型应用到嵌入式平台的研究较少，这类平台往往算力，内存和能量消耗的要求都比较严格。

通过后处理全精度模型导出的量化网络在精度上会有明显的损失。但是通过端到端的方法训练的二进制网络表现要好很多。

二进制参通过全精度代理间接学得。二进制参数在前向和反向传播时由代理导出。训练过程中，梯度反向传播并且被应用与全精度代理。

2.BNN预训练

将训练好的模型中的全精度权重作为在等效二进制网络中全精度代理的初始值可以显著地加速训练过程。