HORQ（High-Order Residual Quantization）算法详解

论文：Performance Guaranteed Network Acceleration via High-Order Residual Quantization
论文链接：https://arxiv.org/abs/1708.08687
暂无代码

这是ICCV2017的文章，作者主要来自上海交大。我们知道模型压缩方面可以做到不大影响准确率，但是如果同时要做到模型加速还不影响准确率的就非常少了，而HORQ就可以做到！HORQ在对准确率影响很小的情况下能将模型缩小32倍，同时加速30倍左右！

我们知道模型的二值化是深度学习模型压缩和加速的一类重要方法，二值化操作一般包括对权重做二值化，也包括对输入做二值化，前者主要可以压缩模型，后者主要可以加速模型，可以参考XNOR-Net算法详解。但是一般对输入做二值化后模型准确率会下降特别厉害，而这篇文章提出的对权重和输入做high-order residual quantization的方法可以在保证准确率的情况下大大压缩和加速模型。

接下来详细介绍HORQ，因为HORQ可以看做是XNOR的改进版，所以建议先看看XNOR：XNOR-Net算法详解。HORQ和XNOR都包含对weight和input做二值化，weight二值化方面基本一样，接下来主要介绍对input的二值化。

假设有个输入X，我们采用XNOR论文里面的对输入做二值化的式子就是公式6，H是个二值向量，通过解式子7这个优化函数就可以得到式子8的β和H。