Fixed Point Quantization of Deep Convolutional Networks

Abstract

近年来，越来越复杂的深度卷积网络(DCNs)架构被提出来提高图像识别任务的性能。然而，性能方面的提高是以计算和模型存储资源的大量增加为代价的。dcn的定点实现有可能缓解这些复杂性，并促进在嵌入式硬件上的潜在部署。在本文中，我们提出了一种不动点实现的量化器设计。我们制定并解决了一个优化问题，以确定最优的不动点位宽分配跨DCN层。我们的实验表明，与等位宽设置相比，具有优化位宽分配的定点dcn在模型大小上减少了>20%，而在CIFAR-10基准测试上没有任何精度损失。我们还证明了微调可以进一步提高不动点模型dcn的精度，超过原始浮点模型的精度。在此过程中，我们报告了一种新的最先进的定点性能，在CIFAR-10基准测试上的错误率为6.78%。

1. Introduction

深度卷积网络(DCNs)发展的最新进展，在解决涉及图像识别(Krizhevesty等，2012)和语音识别(Deng等，2013)的非平凡机器学习问题方面取得了重大进展。在过去两年中，DCN的设计取得了一些进展（Zeiler&Fergus，2014 Simonyan&Zisserman，2014年；Szegedy等人，2