It’s All In the Teacher ZeroShot Quantization Brought Closer to the Teache:一切尽在老师身上:零样本量化更贴近老师
作者:Kanghyun Choi1, Hye Yoon Lee1, Deokki Hong1
学校:1College of Computing, Yonsei University,CLOVA影像视觉,CLOVAAI实验室,NAVER
Abstract
模型量化被认为是一种大大降低深度神经网络资源需求的有前途的方法。为了处理量化误差引起的性能下降,一种常用的方法是利用训练数据对量化网络进行微调。然而,在现实环境中,这种方法往往是不可行的,因为由于安全、隐私或保密性的问题,训练数据不可用。zero-shot量化解决了这些问题,通常是通过从全精度教师网络的权值中获取信息来补偿量化网络的性能下降。在本文中,我们首先分析了最先进的zero-shot量化技术的损失面,并提供了几个发现。与通常的知识蒸馏问题相比,zero-shot量化往往存在
1)同时优化多个损失项的困难
2)由于使用合成样本而导致的泛化能力较差。
此外,我们观察到,在训练量化网络时,许多权值不能超过舍入阈值,即使是为了更好的表现
分析最先进的zero-shot量化技术的损失面,是怎么分析的?有哪些发现?
1、 Introduce
深度神经网络量化[13,22,36,69]是提高深度神经网络(DNNs)计算效率的有力工具。当采用低比特宽度硬件设计[28、49、58]时,DNN的延迟和能耗可以大大