本文汇总了2019年关于深度学习模型量化的重要研究，包括SeerNet、Deep Spherical Quantization、Learning to Quantize、End-to-End Supervised Product Quantization等方法。这些研究旨在通过量化技术减小CNN模型的位宽，提高计算和存储效率，同时保持或提高模型的准确性。文章探讨了不同方法如何通过优化量化间隔、学习软硬表示、硬件感知自动量化等手段，实现高效且精确的量化模型，适用于资源受限的设备和大规模图像检索任务。
1、SeerNet: Predicting Convolutional Neural Network Feature-Map Sparsity through Low-Bit Quantization
本文提出了一种利用特征映射稀缺性来加速CNN推断的新的通用方法。实验证明原始网络高度量化的版本足够准确地预测输出稀缺性，且利用这种在推断时的稀缺性会导致与原网络相比必不可少的准确率下降。为了加速推断，对每个卷积层，该方法首先通过在原始网络层的量化版本上运行推断来获得一个输出特征映射的二元稀疏掩码，随后进行一个全精度稀缺卷积来找到非零输出的精确值。
2、Deep Spherical Quantization for Image Search
使用紧凑离散码编码高维图像的散列方法已被广泛地应用到增强大规模图像恢复上。本文提出了深度球形量化(DSQ)，它是一种使DCNN网络生成用于高效图像搜索的有监督和紧凑二元编码的新方法。作者的方法同时学习将输入图像变换为低维判别空间的映射，以及使用多代码本量化来量化变换数据点。为了去除码本学习上的范数方差的负面影响，作者强制网络对提取的特征进行L2归一化，随后使用新的受监督的量化技术量化结果向量，该量化技术是专门为单位超球面上的点来设计的。
3、Learning to Quantize Deep Networks by Optimizing Quantization Intervals with Task Loss
减少神经网络激活层的
最低0.47元/天 解锁文章
755
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
