论文:Performance Guaranteed Network Acceleration via High-Order Residual Quantization
论文链接:https://arxiv.org/abs/1708.08687
暂无代码
这是ICCV2017的文章,作者主要来自上海交大。我们知道模型压缩方面可以做到不大影响准确率,但是如果同时要做到模型加速还不影响准确率的就非常少了,而HORQ就可以做到!HORQ在对准确率影响很小的情况下能将模型缩小32倍,同时加速30倍左右!
我们知道模型的二值化是深度学习模型压缩和加速的一类重要方法,二值化操作一般包括对权重做二值化,也包括对输入做二值化,前者主要可以压缩模型,后者主要可以加速模型,可以参考XNOR-Net算法详解。但是一般对输入做二值化后模型准确率会下降特别厉害,而这篇文章提出的对权重和输入做high-order residual quantization的方法可以在保证准确率的情况下大大压缩和加速模型。
接下来详细介绍HORQ,因为HORQ可以看做是XNOR的改进版,所以建议先看看XNOR:XNOR-Net算法详解。HORQ和XNOR都包含对weight和input做二值化,weight二值化方面基本一样,接下来主要介绍对input的二值化。
假设有个输入X,我们采用XNOR论文里面的对输入做二值化的式子就是公式6,H是个二值向量,通过解式子7这个优化函数就可以得到式子8的β和H。