quantization 顶会文章简介 2017

本文概述了2017年CVPR会议上关于深度学习量化方法的几篇重要论文,包括低精度神经网络、视觉语义量化、深度二进制描述符和高阶残差量化等。这些研究旨在提高量化网络的效率和性能,减少计算资源的消耗,同时保持与全精度网络相当的准确度。
摘要由CSDN通过智能技术生成

CVPR

1、Deep Learning with Low Precision by Half-wave Gaussian Quantization
在这里插入图片描述
对流行的二进制量化方法的研究发现,它由两个函数对经典的非线性和双线性正切函数的近似组成:一个用于前馈网络计算的分段常量信号函数和一个在神经网络学习时用于后向传播的分段线性硬tanh函数。随后广泛使用的ReLU非线性的问题被提出。用于前向近似的半波高斯量化器(HWGQ)被剔除了,它利用神经网络激活层的统计信息和批量归一化,能够高效地部署。为了克服由于在前向和后向传播时使用不同的近似导致的梯度不匹配问题,几个分段的后向传播近似器被提出了。由此产生的量化网络,记为HWGQNet,它的实施被证明比之前提出的有着1位和2位量化激活层的低精度神经网络强,而与全精度的神经网络,如AlexNet、ResNet、GoogleNet和VGG-Net的表现类似。

2、Deep Visual-Semantic Quantization for Efficient Image Retrieval
在这里插入图片描述
由于它的计算的高效和恢复的质量,紧凑编码已被广泛地应用在用于大规模图像恢复的近似最近邻方法中。本文提出了一种聚焦于深度学习量化方法的紧凑编码解决方案,它通过端对端的表征学习和紧凑编码来提高恢复的质量,且已在相似性恢复上显出了优于哈希解决方案的性能。

作者提出了Deep Visual-Semantic Quantization(DV

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值