【知识蒸馏+量化】（二）Data-Free Network Quantization with Adversarial Knowledge Distillation

最新推荐文章于 2023-05-15 16:20:46 发布
最新推荐文章于 2023-05-15 16:20:46 发布
阅读量622 收藏 2
点赞数
分类专栏： 深度学习-模型压缩（蒸馏剪枝量化） 文章标签： 深度学习 模型压缩 模型量化 知识蒸馏 量化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44936889/article/details/119837374
版权
该博客介绍了如何在没有原始训练数据的情况下，利用对抗性知识蒸馏进行网络量化。文章提出了一种方法，通过生成器产生对抗性样本，最小化教师模型与量化学生模型之间的最大距离，同时匹配生成数据与原始数据的批处理归一化统计、实例分类熵和批分类熵。实验结果表明这种方法在模型压缩和量化方面取得了有效成果。
摘要由CSDN通过智能技术生成

【知识蒸馏+量化】（二）Data-Free Network Quantization with Adversarial Knowledge Distillation

论文地址：

https://arxiv.org/abs/2005.04136

代码地址：

https://github.com/da2so/Data-Free_Network_Quantization_With_Adversarial_Knowledge_Distillation

主要问题：

现有的模型压缩方法（包括知识蒸馏）的一个问题是，前提假设原始的训练数据是可以在压缩过程中访问的，但是随着数据集的增大，数据集的分布变得更加昂贵和差异，此外数据隐私和安全已经成为深度学习的主要问题之一

主要思路：

这篇文章提出了无数据的对抗性知识蒸馏，它最小化了来自生成器的任何对抗性样本的教师和（量化）学生输出之间的最大距离

为了生成类似于原始数据的对抗性样本，作者还提出了生成的批归一化数据和教师原始数据的匹配统计数据

在这里插入图片描述

具体实现：

基本符号：

假设

了解本专栏 订阅专栏 解锁全文 超级会员免费看
BIT可达鸭
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【AAAI 2021】零样本知识蒸馏：Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis
梁瑛平的博客
08-07 1289
【AAAI 2021】零样本知识蒸馏：Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis论文地址：主要问题：主要思路：主要贡献：具体实现：基本符号：具有多元正态分布的特征空间建模： 论文地址： https://arxiv.org/abs/2104.04868 主要问题： 实现无数据 KD 的关键思想是生成信息丰富的伪样本，从而可以近似原始训练样本的分布 主要思路： 这篇文章提出了一种新的无数据 KD 方法，即利
Data-Free Network Quantization With Adversarial Knowledge Distillation
weixin_37958272的博客
04-27 686
Data-Free Network Quantization With Adversarial Knowledge Distillation 1. Introduction 在本文中，我们提出了一个对抗性知识提炼框架，在无法获得原始训练数据的损失时，通过对抗性学习使最坏情况下的可能损失（最大损失）最小化。与[36]的关键区别在于，给定任何元数据，我们利用它们来约束对抗性学习框架中的发生器。为了避免额外的努力来制作新的元数据来分享，我们使用存储在批量规范化层中的统计数据来约束生成器，使其产生模仿原始训练数据的
Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation
小蚂蚁与大象
08-21 291
为了压缩过度堆叠的gnn，基于师生架构的知识蒸馏是一种有效的技术，其中关键步骤是通过预定义的距离函数来测量教师和学生网络之间的差异。为解决这些问题，本文提出一种新的图模型对抗知识蒸馏框架GraphAKD，对抗性地训练一个鉴别器和一个生成器，以自适应地检测和减少差异。充分捕获的节点间和类间相关性有利于深度gnn的成功，本文建议用可训练的判别器来批评节点级和类级视图的继承知识。鉴别器区分老师的知识和学生继承的知识，而学生GNN作为生成器，旨在欺骗鉴别器。
Large-Scale Generative Data-Free Distillation
weixin_37958272的博客
03-19 486
Large-Scale Generative Data-Free Distillation 我们提出了一种新的方法，通过利用训练教师网络的内在归一化层的统计数据来训练生成式图像模型。这使我们能够构建一个无需训练数据的生成器集合，从而有效地生成后续蒸馏的替代输入。该方法使CIFAR-10和CIFAR-100的无数据蒸馏性能分别提高到95.02%和77.02%。此外，我们能够将其扩展到ImageNet数据集，据我们所知，在无数据环境中，从未使用生成模型。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保
【论文笔记_知识蒸馏_2022】Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation
qq_45128278的博客
06-17 678
通过对立知识蒸馏压缩深度图神经网络 深度图神经网络(GNNs)已被证明对图结构数据的建模具有表达能力。然而，深度图模型的过度堆积的体系结构使得在移动或嵌入式系统上部署和快速测试变得困难。为了压缩过度堆积的广义神经网络，通过师生架构进行知识提炼是一种有效的技术，其中关键步骤是用预定义的距离函数来度量教师和学生网络之间的差异。然而，对各种结构的图使用相同的距离可能是不合适的，并且最佳距离公式很难确定。为了解决这些问题，我们提出了一个新的图模型的对抗性知识蒸馏框架GraphAKD，它对抗性地训练一个鉴别器和一个生
Tensorflow-Neural-Network-Quantization:评估量化技术对神经网络推理时间影响的项目
05-17
Tensorflow神经网络量化这是2017-2018年高级计算机架构课程@PoliMi的学校项目。 请注意，存储库还包含数据集和所有模型文件。 您可以在这些笔记本上查看MNIST模型评估的主要结果： ， 还提供CIFAR-10模型的评估： ，...
Quantized Feature Distillation for Network Quantization论文解读ppt分享
最新发布
07-27
### Quantized Feature Distillation for Network Quantization：论文解读与知识点提炼 #### 一、背景介绍 **量化感知训练（QAT）**作为一种成熟的技术，在极低比特设置下仍能保持网络准确性，已成为研究热点。...
量化加速-使用Pytorch-quantization对YOLOv8目标检测算法进行量化加速-模型小型化-附项目源码优质项目实战
05-08
5. **模型优化**：除了量化外，还可以考虑其他模型优化技术，如剪枝（Pruning）、模型蒸馏（Knowledge Distillation）等，进一步减小模型大小和提升运行速度。 6. **源码实践**：项目源码提供了完整的实现流程，...
AdaBits Neural Network Quantization With Adaptive Bit-Widths.pdf
10-19
《AdaBits：神经网络自适应位宽量化》 在计算机视觉领域，卷积神经网络（CVPR）的研究持续深入，特别是在模型压缩与高效部署方面。本文提出的“AdaBits：神经网络自适应位宽量化”是一种新颖的方法，旨在解决在资源...
算法优化-对SegmentAnything-SAM进行PTQ量化加速+附项目源码-优质项目实战.zip
05-11
在本项目中，我们主要关注的是“算法优化”，特别是针对名为SegmentAnything-SAM的一个特定算法进行的Post-Training Quantization（PTQ）量化加速。这是一个非常实用的技术，它旨在提高深度学习模型在实际设备上的...
论文阅读 - FedACK: Federated Adversarial Contrastive Knowledge Distillation for Cross-Lingual
qq_40671063的博客
05-15 471
社交机器人检测对于在线社交平台的弹性和安全性至关重要。最先进的检测模型是孤立的，在很大程度上忽略了来自多个跨语言平台的各种数据特征。同时，数据分布和模型结构的异构性使得设计一个有效的跨平台和跨模型检测框架变得非常复杂。在本文中，我们提出了一个新的联邦对抗性对比知识提取框架 FedACK，用于社交机器人检测。我们设计了一种基于 GAN 的联邦知识蒸馏机制，用于在客户端之间有效地传输数据分布的知识。特别是，全局生成器用于提取全局数据分布的知识，并将其提炼到每个客户端的本地模型中。
神经网络水印\IP保护（论文解读Data-Free Adversarial Distillation）
weixin_44928295的博客
05-30 468
Data-Free Adversarial Distillation
Feature-map-level Online Adversarial Knowledge Distillation论文笔记
qq_43812519的博客
03-01 1292
Feature-map-level Online Adversarial Knowledge Distillation论文笔记 论文地址：https://arxiv.org/abs/2002.01775v1 github地址：未公布 Motivation Feature maps中包含丰富的空间相关性等图像信息，但是在分类任务上，过去的online Knowledge Distillation只利...
Data-Free Knowledge Distillation for Heterogeneous Federated Learning论文阅读+代码解析
qq_45478482的博客
10-25 2475
联邦学习具有广阔的应用前景，但面临着来自数据异构的挑战，因为在现实世界中用户数据均为Non-IID分布的。在这样的情况下，传统的联邦学习算法可能会导致无法收敛到各个客户端的数据。在本文中，我们提出了一个基于无数据的知识蒸馏算法——FEDGEN。具体来说，FEDGEN学习一个仅从用户模型的预测规则派生的生成模型，给定一个目标标签，可以生成与用户预测集合一致的特征表示。该生成器随后广播给用户，在潜在空间上护送他们的模型训练与增强样本，这体现了来自其他同行用户的蒸馏知识。
论文阅读笔记--Data-Free Knowledge Distillation for Heterogeneous Federated Learning（FEDGEN）
Shawn2134123的博客
01-19 6706
链接：https://arxiv.org/abs/2105.10056v2 这篇文章发表在ICML 2021，讲的是如何解决联邦学习中的数据异构问题。作者认为现有的知识蒸馏（Knowledge Distillation，K-D）的方法大多都需要server有一批代理数据（proxy data），协助K-D完成知识传授的过程，这有时候是做不到的。而且只修改全局模型并不能解决用户之间的异质性，反过来这还会影响全局聚合的质量。FEDGEN相比之前的算法有3个优越性： 1）不需要server拥有额外的数据； 2）K
Data-Free Adversarial Distillation
weixin_37958272的博客
04-25 1016
Data-Free Adversarial Distillation 最近，Dosovitskiy和Brox[11]通过将自动编码方式与GAN的对抗性训练相结合，训练了能够从高度压缩的特征表示生成图像的网络。我们利用这些图像发生器网络作为先验产生合成的首选图像。这些生成器网络接近但不是真实的生成模型，因为它们在训练时没有像变分自动编码器[14]或GANs[17]那样对隐藏分布施加任何先验，也没有像去噪自动编码器[18]那样添加噪声。因此，在数据空间上既没有自然采样过程，也没有隐式密度函数。 我们引入模型差异
联邦学习——用data-free知识蒸馏处理Non-IID
联邦学习小白
07-18 5585
《Data-Free Knowledge Distillation for Heterogeneous Federated Learning》 最近出现了利用知识蒸馏来解决FL中的用户异构性问题的想法，具体是通过使用来自异构用户的聚合知识来优化全局模型，而不是直接聚合用户的模型参数。然而，这种方法依赖于proxy dataset，如果没有这proxy dataset，该方法便是不切实际的。此外，集成知识没有被充分利用来指导局部模型的训练，这可能反过来影响聚集模型的性能。 基于上述挑战，这篇文章提出了一种da
结合量化的知识蒸馏（Quantization Mimic）
AI Flash
08-28 7235
"Quantization Mimic Towards Very Tiny CNN for Object Detection"这篇文章通过将知识蒸馏（Knowledge Distillation）与量化技术（Model Quantization）有效结合，能够诱导训练生成纤细、但性能良好的目标检测网络（主干网络通道数少、层数浅的R-FCN或Faster RCNN）。Quantization Mim...
Contrastive Model Inversion for Data-Free Knowledge Distillation
weixin_37958272的博客
06-11 760
Contrastive Model Inversion for Data-Free Knowledge Distillation 模型反演的目标是从预先训练好的模型中恢复训练数据，最近已被证明是可行的。然而，现有的反转方法通常存在模式崩溃问题，即合成的实例彼此高度相似，因此对下游任务（如知识提炼）的有效性有限。在本文中，我们提出了对比性模型反演（CMI），其中数据多样性被明确地建模为一个可优化的目标，以缓解模式塌陷问题。我们的主要观察结果是，在相同数据量的约束下，更高的数据多样性通常表明更强的实例辨别能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BIT可达鸭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值