1、SeerNet: Predicting Convolutional Neural Network Feature-Map Sparsity through Low-Bit Quantization
本文提出了一种利用特征映射稀缺性来加速CNN推断的新的通用方法。实验证明原始网络高度量化的版本足够准确地预测输出稀缺性,且利用这种在推断时的稀缺性会导致与原网络相比必不可少的准确率下降。为了加速推断,对每个卷积层,该方法首先通过在原始网络层的量化版本上运行推断来获得一个输出特征映射的二元稀疏掩码,随后进行一个全精度稀缺卷积来找到非零输出的精确值。
2、Deep Spherical Quantization for Image Search
使用紧凑离散码编码高维图像的散列方法已被广泛地应用到增强大规模图像恢复上。本文提出了深度球形量化(DSQ),它是一种使DCNN网络生成用于高效图像搜索的有监督和紧凑二元编码的新方法。作者的方法同时学习将输入图像变换为低维判别空间的映射,以及使用多代码本量化来量化变换数据点。为了去除码本学习上的范数方差的负面影响,作者强制网络对提取的特征进行L2归一化,随后使用新的受监督的量化技术量化结果向量,该量化技术是专门为单位超球面上的点来设计的。
3、Learning to Quantize Deep Networks by Optimizing Quantization Intervals with Task Loss