简介
- 参考论文：https://arxiv.org/abs/2005.13297
- OAQ (Overflow-aware Quantization)利用量化比特位宽的表示冗余，借助INT16单元寄存中间、与最终乘累加结果，在ARM平台上实现计算加速；
基本原理
- 文章基于TF-Lite的非对称量化训练算法，提出了INT16乘累加防溢出条件：
- 总体来说，要求整数的中间乘累加、与最终累积结果不能溢出INT16范围；
- 文章通过引入可调整的alpha因子，提出了整数量化范围的自适应调整机制：
本文介绍了Overflow-aware Quantization（OAQ），一种利用INT16防止溢出的量化训练方法。OAQ在ARM平台上通过调整alpha因子自适应地控制整数量化范围，确保乘累加结果不溢出INT16范围，从而实现计算加速。MNN实现了对称量化形式的OAQ，并在ResNet18上展现出显著的加速效果，最高可达1.6倍于普通INT8的加速比。
最低0.47元/天 解锁文章
扫一扫
1117
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
