It’s All In the Teacher ZeroShot Quantization Brought Closer to the Teache

已于 2022-04-25 17:48:59 修改
阅读量1.3k 收藏 1
点赞数
分类专栏： 模型量化论文 文章标签： 量化论文2022cvpr 深度学习
于 2022-04-25 11:22:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49234921/article/details/124398619
版权
本文首次对零镜头量化技术的损失面进行了深入分析，揭示了损失项之间的协同困难和泛化能力问题。通过提出AIT（一切在教师）方法，仅使用KL损失和梯度淹没技术，解决了量化模型的更新问题，实现了接近全精度教师模型的性能。实验结果显示，AIT在多种数据集上超越了现有方法，展现出优越的性能。
摘要由CSDN通过智能技术生成

It’s All In the Teacher ZeroShot Quantization Brought Closer to the Teache：一切尽在老师身上：零样本量化更贴近老师


作者：Kanghyun Choi1, Hye Yoon Lee1, Deokki Hong1
学校：1College of Computing, Yonsei University，CLOVA影像视觉，CLOVAAI实验室，NAVER

Abstract

模型量化被认为是一种大大降低深度神经网络资源需求的有前途的方法。为了处理量化误差引起的性能下降，一种常用的方法是利用训练数据对量化网络进行微调。然而，在现实环境中，这种方法往往是不可行的，因为由于安全、隐私或保密性的问题，训练数据不可用。zero-shot量化解决了这些问题,通常是通过从全精度教师网络的权值中获取信息来补偿量化网络的性能下降。在本文中，我们首先分析了最先进的zero-shot量化技术的损失面，并提供了几个发现。与通常的知识蒸馏问题相比，zero-shot量化往往存在
1)同时优化多个损失项的困难
2)由于使用合成样本而导致的泛化能力较差。
此外，我们观察到，在训练量化网络时，许多权值不能超过舍入阈值，即使是为了更好的表现

分析最先进的zero-shot量化技术的损失面，是怎么分析的？有哪些发现？

1、 Introduce

深度神经网络量化[13,22,36,69]是提高深度神经网络(DNNs)计算效率的有力工具。当采用低比特宽度硬件设计[28、49、58]时，DNN的延迟和能耗可以大大

了解本专栏 订阅专栏 解锁全文 超级会员免费看
土豆娃potato
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
2020:ZeroQ: A Novel Zero Shot Quantization Framework----一种新的零镜头量化框架
青灵_Yaffa的博客
05-06 418
ZeroQ: A Novel Zero Shot Quantization Framework 未完待续！！Abstract1. Introduction2. Related work3. Methodology Abstract           量化化是减少神经网络推理时间和内存占用的一种很有前途的方法。然而，大多数现有的量化方法都需要访问原始训练数据集进行再训练。对于具有敏感或专有数据的应用程序，这
【零样本知识蒸馏】（一）Zero-shot Adversarial Quantization
梁瑛平的博客
08-18 886
作者提出了一个零样本对抗性量化（ZAQ）框架，促进了从一个全精度模型到其量化模型有效的差异估计和知识转移，该算法以驱动生成器合成信息和不同的数据实例，以对抗性学习的方式优化量化模型
【论文阅读笔记】ZeroQ: A Novel Zero Shot Quantization Framework
时光机 °的博客
12-10 1773
论文地址：ZeroQ 论文地址：https://github.com/amirgholami/ZeroQ 论文总结   本文的方法是一种后量化方法，是不用finetune的一种方法。   本文的贡献主要有两点：（1）提出了一种方法，从模型的分析中生成更为接近训练数据的数据，用于得到activation的范围和计算每一层的量化损失。（作者称他生成数据的方式，叫做蒸馏，distilled，数据）（2）提出使用Pareto frontier方法去选择目标模型大小的一个混合精度。   本文的混合精度的选择，是在目标
Zero-shot Adversarial Quantization论文翻译+解读
青灵_Yaffa的博客
05-04 1536
Zero-shot Adversarial QuantizationAbstract新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 Abstract     模型量化是一种很有前途
一文看尽 CVPR 2022 最新 20 篇 Oral 论文
机器学习社区
04-08 2948
最近一直在对CVPR 2022的论文进行分方向的整理，本文为最新的CVPR 2022 Oral 论文，包含目标检测、图像处理等方向。 CVPR 2022 已经放榜，本次一共有2067篇论文被接收，接收论文数量相比去年增长了24%。在CVPR2022正式会议召开前，为了让大家更快地获取和学习到计算机视觉前沿技术，我对CVPR022 最新论文进行追踪，包括分研究方向的论文、代码汇总。 【1】Marginal Contrastive Correspondence for Guided Image Generati
New-WinRAR-ZIP-archive.zip_The Closer
09-23
We are getting closer to a time when we will be able to cost fectively integrate billions of transistors on an integrated circuit. fact, we are seeing the beginning of this era with the broad adoption...
Chapter-3---Sampling-Quantization.rar_Signal quantization_The Si
09-24
标题中的"Chapter-3---Sampling-Quantization.rar_Signal quantization_The Si"指的是一个关于信号处理的章节，特别是采样和量化的过程。在数字信号处理中，模拟信号首先通过采样过程转换为离散时间信号，然后通过...
hsv-quantization.rar_HSV _hsv quantization_hsv to rgb in matlab_
07-14
总的来说，"hsv-quantization.rar"这个压缩包可能包含了一个MATLAB脚本或函数，用于演示如何在MATLAB中实现HSV颜色空间的非等间隔量化，并将处理后的图像转换回RGB模式。通过理解HSV和RGB模型，以及在MATLAB中进行...
All-optical quantization scheme by slicing the supercontinuum in a chalcogenide horizontal slot waveguide
02-07
### 全光量化方案：通过在硫属玻璃水平槽波导中分割超连续谱实现 #### 核心知识点概述 本文提出了一种全光模拟到数字转换（AOADC）的可集成频谱量化方案，该方案是通过在硫属玻璃（As2S3）水平槽波导中产生的超...
Chapter-3---Sampling-Quantization-3.rar_The Signal
09-24
标题中的"Chapter-3---Sampling-Quantization-3.rar_The Signal"暗示了这是一个关于信号处理的章节，重点是采样和量化，特别是在音频信号处理中的应用。这通常出现在数字信号处理的课程或教程中，涉及到将模拟信号...
Generative Data-free Quantization——生成式无数据训练后量化方法
AI Flash
05-15 1723
前言 针对深度学习模型的边缘、移动端设备部署，模型量化已经成为必不可少的技术手段，一方面可缓解模型存储、运行时内存的Overhead（例如INT8量化的理论压缩比为4倍），另一方面通过专用整形计算单元或加速指令可实现推理加速（例如NV GPU的TensorCore单元）。 出于用户隐私与数据安全考虑，大多数场景应用仅提供少量无标注数据以支持Label-freePTQ，或者不提供任何数据。在用户不提供任何数据时，Data-free Quantization需要借助Pre-trained Mode...
CVPR2022论文速递（2022.4.1）！共33篇,已分类!
zero的博客
04-01 1136
整理：AI算法与图像处理CVPR2022论文和代码整理：https://github.com/DWCTOD/CVPR2022-Papers-with-Code-Demo欢迎关注：大家好,最近正在优化每周分享的CVPR论文, 目前考虑按照不同类别去分类,方便不同方向的小伙伴挑选自己感兴趣的论文哈欢迎大家留言其他想法, 合适的话会采纳哈!求个三连支持一波哈目标检测 /...
闲话模型压缩之量化（Quantization）篇
热门推荐
世事难料，保持低调
06-25 5万+
1. 前言 这些年来，深度学习在众多领域亮眼的表现使其成为了当今机器学习的主流方法。但其巨大的计算量仍为人诟病。尤其是近几年，随着端设备算力增强，业界涌现出越来越多基于深度神经网络的智能应用。为了弥补算力需求与供给的巨大鸿沟，近几年来模型压缩成为了业界的热点之一。模型压缩又可细分为多个子方向。之前在浅谈端上智能之计算优化中有过一些简单的论述，同时在闲话模型压缩之网络剪枝（Network Pruning）篇中更加具体地整理了些关于网络剪枝（network pruning）的东西，今天就再将目光放到另一类方法上
ZeroQ：基于Data-Free的30秒快速量化方法
u012347027的博客
09-22 1544
ZeroQ：基于Data-Free的30秒快速量化方法动机方法蒸馏数据（Distilled Data）算法可视化帕累托边界（Pareto Frontier）实验结果ImageNet 结果目标检测结果消融实验蒸馏数据的有效性敏感度分析 ZeroQ 是北京大学与 Berkeley 联合发表在 CVPR 2020 的 Data-Free 量化工作。本文是一种无需数据集，通过优化随机数据产生“蒸馏数据”，进而实现均匀量化和混合比特量化的方法。与最近提出的 DFQ 方法相比，ZeroQ 在 MobileNetV2上
8-5 循环神经网络 RNN 的实现
Alkali!的博客
08-17 434
高级API提供了循环神经网络的实现。我们构造一个具有256个隐藏单元的单隐藏层的循环神经网络层rnn_layer。事实上，我们还没有讨论多层循环神经网络的意义。现在仅需要将多层理解为一层循环神经网络的输出被用作下一层循环神经网络的输入就足够了。我们使用张量来初始化隐状态，它的形状是（隐藏层数，批量大小，隐藏单元数）。通过一个隐状态和一个输入，我们就可以用更新后的隐状态计算输出。需要强调的是，rnn_layer的“输出”（Y）不涉及输出层的计算： 它是指每个时间步的隐状态，这些隐状态可以用作后续输出层的输入。
深度学习10--强化学习
最新发布
m0_63860007的博客
08-17 109
强化学习(增强学习、再励学习、评价学习简称RL)是近年来机器学习领域最热门的方向之一，是。分清楚回报和奖赏的区别：因为强化学习的目的是最大化长期未来奖励，寻。略，在策略不变的情况下，只会选择价值最大的那一个动作。动作选择策略的未来回报的期望。中，这个“策略”就是一个神经网络，输入是环境状态，输出是动作。境重复100次决策，可能会有不同的决策产生。如果看重的是长期的回报，那就是深谋远虑。训练集中的数据都是统一的格式。中都有可能执行，只是执行的概率非常的小。性策略，因为是从概率分布中采样，同样的环。
PyTorch--实现循环神经网络(RNN)模型
wumingzei的博客
08-16 1282
首先，这篇文章只能算是小笔记，如果前面的看过了这篇甚至可以省略就好了，更多的都是直接调用现成的，并不能算深入的手撕代码，只是做个小记录而已。这段代码提供了一个使用PyTorch库实现的循环神经网络模型，具体采用了长短期记忆网络（LSTM）作为其核心组件。该模型是为了处理序列数据而设计的，可以广泛应用于需要序列预测的场景。# 定义RNN模型，使用LSTM层和全连接层。定义一个RNN模型，其中包含LSTM层和用于分类的全连接层。
基于时域卷积神经网络的时间序列异常检测（Python）
weixin_39402231的博客
08-17 347
基于时域卷积神经网络的时间序列异常检测（Python）
翻译：Loading the raw data and processing by Rawpy takes significant more time than the backpropagation. By default, the code will load all the groundtruth data processed by Rawpy into memory without 8-bit or 16-bit quantization. This requires at least 64 GB RAM for training the Sony model and 128 GB RAM for the Fuji model. If you need to train it on a machine with less RAM, you may need to revise the code and use the groundtruth data on the disk. We provide the 16-bit groundtruth images processed by Rawpy: Sony (12 GB) and Fuji (22 GB).
06-07
使用Rawpy加载原始数据并进行处理比反向传播所需的时间要长得多。默认情况下，该代码将加载由Rawpy处理的所有groundtruth数据到内存中，而不进行8位或16位量化。这需要至少64 GB的RAM来训练Sony模型，以及128 GB的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

土豆娃potato

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值