我们使用以下这六个标准对网络量化和相关领域的研究进行分类。以下是每个标准的详细解释,并结合了参考文献中的相关研究:
-
研究领域:该标准将研究大致分为三个主要领域:
- 量化:这是上传论文的核心焦点。它涉及减少模型参数的位宽(例如,从 32 位浮点数到 4 位整数)等技术,以压缩模型并提高效率。论文提出了 TexQ,一种新颖的量化方法。提到的其他量化方法包括 QAT [7, 8, 9, 10] 和 PTQ [11, 12, 13, 14, 15, 16]。
- 纹理分析:该领域之所以相关,是因为论文提出的方法 TexQ 特别关注在量化过程中保留纹理特征分布。LBP(局部二进制模式)[32] 和 LAWS(局部自适应小波光谱)[49, 50] 等纹理分析方法用于表征和测量纹理特征。参考文献 [35, 36, 37] 强调了纹理特征在图像分类任务中的重要性。
- 知识蒸馏:虽然不是主要焦点,但本文利用知识蒸馏作为一种支持技术。这涉及将知识从全精度模型转移到量化模型,以提高其性能。本文介绍了一种混合知识蒸馏模块,以增强样本多样性并避免过度拟合。
-
量化方法:该标准区分了两种主要的量化方法