1.DSConv介绍
1.1 摘要:量化是提高卷积神经网络(CNN)速度和降低内存使用量的一种流行方法。当标记的训练数据可用时,网络权重和激活已成功量化到1位。当标记的训练数据不可用时,例如当量化预训练模型时,情况就不能这么说了,其中当前的方法最多显示在8位量化时没有精度损失。我们引入了DSConv,这是一种灵活的量化卷积运算符,它用成本低得多的整数运算替代了单精度运算,同时保持了内核权重和输出的概率分布。我们在最流行的神经网络架构ResNet,DenseNet,GoogLeNet,AlexNet和VGG-Net上测试了我们的模型作为标准卷积的即插即用替代品,并展示了最先进的结果,精度损失不到1%,无需重新训练,仅使用4位量化。我们还展示了如何使用未标记数据的基于蒸馏的自适应阶段可以进一步改善结果。