本文介绍了增量网络量化（INQ）方法，旨在解决CNN在资源受限设备上的部署问题。INQ通过对网络参数进行分组、量化和重训练，实现全精度模型到低精度模型的转换，同时减少精度损失。实验表明，INQ在多种CNN架构上提高了精度，甚至在某些情况下超过了全精度基准。
第一次输出，再烂也要写，写多了就写的好了
现状
1.CNN
CNN在计算机视觉方面取得了许多惊人的成绩，无论是得益于大量的带标记数据，强大的计算资源或多样的框架，CNN能取得理想的结果归根结底是因为其具有大量可学习的参数，数量从几千万到几亿。然而这反过来给内存和计算资源带来巨大负担，因此在诸如移动设备，FPGA等计算和功耗预算有限的设备上部署深层CNN极具挑战性。
2.量化CNN
在训练，前馈测试或两者同时进行的CNN加速和压缩方面已经做出了巨大努力。 在现有方法中，网络量化方法的类别引起了研究和开发人员的极大关注。
然而，这些量化方法都有两个问题：第一个问题是CNN量化方法的精度损失不可忽略，另一个问题是为确保收敛而增加训练迭代的次数。
为此，该论文提出了一种新颖的增量网络量化方法
INQ基本原理
INQ目的
INQ旨在将任意经过训练的全精度模型转换为权值为2的幂次方或0的低精度模型。
创新点
1.对网络中的参数进行三个互相依赖的操作：参数分组，量化和重训练。
参数分组：将各层参数分为不相交的两组。
量化：第一组中的权重通过可变长度编码方法量化为2或0的幂，从而形成了原始模型的低精度基础。
重训练：
最低0.47元/天 解锁文章
扫一扫
771
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
