quantization 顶会文章简介 2017

最新推荐文章于 2024-03-06 16:54:25 发布

JachinMa

最新推荐文章于 2024-03-06 16:54:25 发布

阅读量557

点赞数

本文链接：https://blog.csdn.net/JachinMa/article/details/100776556

版权

本文概述了2017年CVPR会议上关于深度学习量化方法的几篇重要论文，包括低精度神经网络、视觉语义量化、深度二进制描述符和高阶残差量化等。这些研究旨在提高量化网络的效率和性能，减少计算资源的消耗，同时保持与全精度网络相当的准确度。

摘要由CSDN通过智能技术生成

CVPR

1、Deep Learning with Low Precision by Half-wave Gaussian Quantization
在这里插入图片描述
对流行的二进制量化方法的研究发现，它由两个函数对经典的非线性和双线性正切函数的近似组成：一个用于前馈网络计算的分段常量信号函数和一个在神经网络学习时用于后向传播的分段线性硬tanh函数。随后广泛使用的ReLU非线性的问题被提出。用于前向近似的半波高斯量化器(HWGQ)被剔除了，它利用神经网络激活层的统计信息和批量归一化，能够高效地部署。为了克服由于在前向和后向传播时使用不同的近似导致的梯度不匹配问题，几个分段的后向传播近似器被提出了。由此产生的量化网络，记为HWGQNet，它的实施被证明比之前提出的有着1位和2位量化激活层的低精度神经网络强，而与全精度的神经网络，如AlexNet、ResNet、GoogleNet和VGG-Net的表现类似。

2、Deep Visual-Semantic Quantization for Efficient Image Retrieval
在这里插入图片描述
由于它的计算的高效和恢复的质量，紧凑编码已被广泛地应用在用于大规模图像恢复的近似最近邻方法中。本文提出了一种聚焦于深度学习量化方法的紧凑编码解决方案，它通过端对端的表征学习和紧凑编码来提高恢复的质量，且已在相似性恢复上显出了优于哈希解决方案的性能。