【零样本知识蒸馏】（六）NeutIPS 2019：Zero-shot knowledge transfer via adversarial belief matching

最新推荐文章于 2024-04-01 08:18:26 发布
最新推荐文章于 2024-04-01 08:18:26 发布
阅读量560 收藏 2
点赞数
分类专栏： 深度学习-模型压缩（蒸馏剪枝量化） 文章标签： 深度学习 机器学习 对抗学习 知识蒸馏 模型压缩
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44936889/article/details/119905816
版权
这篇论文提出了一种对抗性算法，用于在无需任何数据或元数据的情况下，将教师模型的知识转移给学生模型。通过定义信念匹配的决策边界，该方法在两个数据集上展示了有效性。学生模型通过匹配教师模型对生成的伪数据的预测进行训练，同时引入额外损失防止过拟合。实验结果显示，这种方法能有效进行零样本知识转移。
摘要由CSDN通过智能技术生成

【零样本知识蒸馏】（六）NeutIPS 2019：Zero-shot knowledge transfer via adversarial belief matching

论文地址：

https://arxiv.org/abs/1905.09768

代码地址：

https://github.com/polo5/ZeroShotKnowledgeTransfer

主要贡献：

  1. 提出了一种新的对抗算法，不依赖任何数据或元数据，来将教师模型的知识迁移到学生模型；
  2. 在两个共同的数据集上展示其有效性；
  3. 定义了基于信念匹配的两个网络附近的决策边界，并证明我们的零样本训练的学生模型密切匹配教师模型；

具体实现：

基本框架：

假设 T (

了解本专栏 订阅专栏 解锁全文 超级会员免费看
BIT可达鸭
关注
专栏目录
订阅专栏
【零样本知识蒸馏】（一）Zero-shot Adversarial Quantization
梁瑛平的博客
08-18 901
作者提出了一个零样本对抗性量化（ZAQ）框架，促进了从一个全精度模型到其量化模型有效的差异估计和知识转移，该算法以驱动生成器合成信息和不同的数据实例，以对抗性学习的方式优化量化模型
【零样本知识蒸馏】（二）Zero-Shot Knowledge Distillation from a Decision-Based Black-Box Mode
梁瑛平的博客
08-18 508
作者的关键思路是从 DB3 教师模型中提取训练样本的类概率，作者声称，一个经过良好训练的模型的决策边界在最大程度上区分了不同类别的训练样本，因此从样本到目标决策边界（某类样本的边界）的距离可以作为样本鲁棒性的表示，这决定了特定类分配给样本的置信度
【零样本知识蒸馏】（三）ZeroQ: A Novel Zero Shot Quantization Framework
梁瑛平的博客
08-19 1042
【零样本知识蒸馏】（三）ZeroQ: A Novel Zero Shot Quantization Framework论文地址：代码地址：主要问题：主要思路：主要贡献：具体实现：基本符号：Distilled Data：Pareto Frontier：实验结果： 论文地址： https://arxiv.org/abs/2001.00281 代码地址： https://github.com/amirgholami/ZeroQ 主要问题： 最近的工作提出了训练后量化，它直接量化NN模型而不需要微调，但是这些方法导
知识蒸馏-【初识】
dear_queen的博客
11-02 920
刚开始了解知识蒸馏这个领域，做个知识拓展学习：参考知识蒸馏即通过一个精度比较高即知识储备比较多的教师模型（当然可以多个教师），将知识迁移给学生模型，该学生模型的结构会较为轻量且高效。在图像识别中，采用教师模型作分类，通常直接输出1 or 0；如在识别马、驴、汽车的过程中，hard targets是在神经网络预测时，该图是马的情况，直接会输出马，即预测概率为马的值为1，对长相略像马的驴也直接会直接输出0。这种方式就是硬标签，这样的方式于我们而言是不利的。
知识蒸馏（Knowledge Distillation，KD）论文阅读笔记
forever compass的博客
01-16 1091
本文对知识蒸馏的开山之作Distilling the knowledge in a neural network进行了详细分析
【零样本知识蒸馏】（四）Zero-Shot Knowledge Distillation Using Label-Free Adversarial Perturbation
梁瑛平的博客
08-19 397
本文提出了一种新的利用无标签对抗性扰动的 C-ZSKD 算法，即利用概率分布的卷积和二阶泰勒阶数近似，推导出了梯度式平方范数的约束条件，该约束条件增加了敌对样本分布的方差，使学生模型在没有标记数据的情况下更准确地学习教师模型的决策边界
【论文笔记】Zero-Shot Machine Unlearning
lasetd的博客
07-05 1551
论文笔记
PyTorch深度学习实战（40）——零样本学习(Zero-Shot Learning)
最新发布
盼小辉丶的博客
04-01 3036
零样本学习 (Zero-Shot Learning) 旨在解决传统监督学习中，当训练数据中不存在某个类别的样本时，如何对该类别进行分类的问题。在传统监督学习中，分类模型需要通过训练数据学习到每个类别的特征和模式，并在测试阶段根据这些学习到的知识对新样本进行分类。然而，在现实世界中，我们无法获得所有可能类别的训练样本，因此零样本学习成为了一种重要的解决方案。在本节中，我们将学习零样本学习的基本概念，并使用 PyTorch 实现零样本学习模型。
深度学习-知识蒸馏
jackson_j的博客
03-05 1036
第一章 综述 知识蒸馏的目的是将大模型变成小模型，将小模型部署到移动终端设备上。 1.轻量化网络 2.知识的表示与迁移 hard targets和soft targets： 显然， soft targets包含更多的“知识”和“信息”， 像谁， 不像谁， 有多像，有多不像， 特别是非正确类别概率的相对大小（驴和车）。 3.蒸馏温度T 把比较硬的soft targets变得更软，信息暴漏的更明显 例如： 第二章 知识蒸馏 1.过程 教师网络进行预训练，生成soft labels，学生网络可能训练，
综述：零样本学习
idol24的博客
01-17 3028
来源：知乎—恒大大地址：https://zhuanlan.zhihu.com/p/142057964本文充其量算个原创，如果综(pin)述(cou)也算的话。网上有一些关于零样本学习的讨论...
【转】Knowledge-Distillation 知识蒸馏论文集合
u014546828的博客
06-28 9585
Awesome Knowledge-Distillation 博客转自CTOLib码库：https://www.ctolib.com/FLHonker-Awesome-Knowledge-Distillation.html Awesome Knowledge-Distillation Different forms of knowledge Knowledge from logits Knowledge from intermediate layers Graph-based.
知识蒸馏（Distilling the Knowledge in a Neural Network）
Keep_Trying_Go的博客
05-27 763
文章目录1.论文作者介绍2.论文地址3.什么是知识蒸馏4.为什么要提出知识蒸馏5.知识蒸馏中Teacher model和Student model6.采用soft targets和hard targets（1）对于传统的hard targets（2）Soft targets7.公式解释8.知识蒸馏的应用场景9.实验过程（1）在MNIST手写体数字识别数据集上进行了训练（2）零样本学习 1.论文作者介绍 （1）Jeff Dean：天才程序员，谷歌搜索索引技术的幕后大脑（编译器不警告Jeff Dean，Jeff
知识蒸馏（Distilling the Knowledge in a Neural Network）论文
charles_zhang_的博客
03-24 1224
知识蒸馏（Distilling the Knowledge in a Neural Network） 三大作者 深度学习教父 Geoffery Hinton 谷歌灵魂人物 oriol Vinyals 谷歌核心人物 Jeff Dean Abstract 多模型集成能提升机器学习性能是指多个性能较差的模型集合在一起可以提升整体的性能。同样集成模型也会出现部署笨重、算力高昂的问题，无法适用多数用户进行安装，训练这些模型也需要进行大量的计算。在一号文献中提到知识蒸馏，将一个集成模型.
Zero Shot | 一文了解零样本学习
zenRRan的博客
01-11 1万+
每天给你送来NLP技术干货！来源｜知乎 作者｜恒大大地址｜https://zhuanlan.zhihu.com/p/142057964报道｜人工智能前沿讲习网上有一些关于零样本学习的讨论...
近期必读的6篇 NeurIPS 2019 的零样本学习(Zero-Shot Learning)论文
qq_42671132的博客
12-24 3089
近期必读的6篇 NeurIPS 2019 的零样本学习(Zero-Shot Learning)论文 PS:转发自“专知”公众号 【导读】NeurIPS 是全球最受瞩目的AI、机器学习顶级学术会议之一，每年全球的人工智能爱好者和科学家都会在这里聚集，发布最新研究。NIP...
（转）零次学习（Zero-Shot Learning）入门
热门推荐
一路向北
08-22 4万+
零次学习（Zero-Shot Learning）入门 小栗子    转自：https://zhuanlan.zhihu.com/p/34656727?spm=5176.9876270.0.0.399ce44aXsg7cN  谢谢作者 事物的本质反映世界构成的规律 408 人赞了该文章 很久没有更文章了，主要是没有找到zero-shot learning(ZSL)方面我特别想要分享的...
知识蒸馏paper分类整理(2014-2020)
KernelF
04-02 4981
Awesome Knowledge-Distillation 知识蒸馏paper分类整理 Awesome Knowledge-Distillation Different form of knowledge Knowledge from logits Knowledge from intermediate layers Mutual Information Self-KD Structur...
人工智能研究的新前线：生成式对抗网络
人工智能学家
06-14 1398
来源：AAS自动化学报摘要：生成式对抗网络 (Generative adversarial networks, GAN) 是当前人工智能学界最为重要的研究热点之一. 其主...
Generative Adversarial zero-shot
04-06
Generative Adversarial zero-shot learning combines these two techniques to generate new data samples for unseen objects or concepts. The generator network is trained to generate samples for unseen ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BIT可达鸭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值