FAQ-CNN:面向量化卷积神经网络的嵌入式FPGA可扩展加速框架

摘 要 卷积神经网络(convolutional neural network, CNN)模型量化可有效压缩模型尺寸并提升CNN计算效率.然而，CNN模型量化算法的加速器设计，通常面临算法各异、代码模块复用性差、数据交换效率低、资源利用不充分等问题.对此，提出一种面向量化CNN的嵌入式FPGA加速框架FAQ-CNN，从计算、通信和存储3方面进行联合优化，FAQ-CNN以软件工具的形式支持快速部署量化CNN模型.首先，设计面向量化算法的组件，将量化算法自身的运算操作和数值映射过程进行分离；综合运用算子融合、双缓冲和流水线等优化技术，提升CNN推理任务内部的并行执行效率.然后，提出分级编码与位宽无关编码规则和并行解码方法，支持低位宽数据的高效批量传输和并行计算.最后，建立资源配置优化模型并转为整数非线性规划问题，在求解时采用启发式剪枝策略缩小设计空间规模.实验结果表明，FAQ-CNN能够高效灵活地实现各类量化CNN加速器.在激活值和权值为16 b时，FAQ-CNN的加速器计算性能是Caffeine的1.4倍；在激活值和权值为8 b时，FAQ-CNN可获得高达1.23TOPS的优越性能.

关键词 卷积神经网络量化；量化算法解耦；并行编解码；片上资源建模；加速器设计

由于卷积神经网络(convolutional neural network, CNN)往往规模庞大、