Knowledge Distillation with Conditional Adversarial Networks论文初读

最新推荐文章于 2023-12-03 01:15:22 发布
最新推荐文章于 2023-12-03 01:15:22 发布
阅读量773 收藏 1
点赞数
文章标签： 知识蒸馏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37665984/article/details/103301498
版权

目录

摘要

引言

相关工作

  网络加速

  知识蒸馏

  GAN

知识蒸馏的损失函数

  残差结构

  知识蒸馏

  用对抗网络学习知识

实验

  实验设置

  GAN学习的优势

  GAN方法的分析

  分布可视化

结论

摘要

提出了使用CAN（conditional adversarial networks）来搭建teacher-student架构

提出的方法对相对较小的student网络特别有效

实验展示了当前流行的网络作为student时，网络大小对结果的影响

实验研究了分类准确率和效率的权衡，给出了如何挑选student网络的建议

引言

  • 工作

采用CAN将dark knowledge从teacher网络中迁移到student网络中

实验表明通过对抗训练学到的损失要比teacher-student网络中的预定损失更有优势，这种优势在student网络非常小的时候格外明显

  • 动机

由于student网络结构一般小于teacher网络，所以强制让student网络蒸馏众多soft targets中的一种（多个teacher网络的平均或者集成）不仅时没有必要的，而且时非常苦难的

通过引入判别器，student网络可以从teacher网络中自动地学到好的损失来保留类之间的关系，并且保持多态性，如下图所示

相关工作

  网络加速

低精度保存：有的甚至用1-bit来保存权重，但这知识概念上的，因为很多GPU不支持这些bit的操作

裁剪和分解权重：假设权重时稀疏的，并且都有两个阶段，一个后处理一个fine-tune，并且裁剪只是减少了基础操作数量，而没有减少推理时间

  知识蒸馏

KD

有一些研究将中间层的信息作为监督信息的

作者的方法时对这些方法的补充，用CAN代替了手动设计损失的过程

  GAN

图像到图像的任务

知识蒸馏的损失函数

  残差结构

最低0.47元/天 解锁文章
待墨痕干
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Image-to-Image Translation with Conditional Adversarial Networks
12-01
Image-to-Image Translation with Conditional Adversarial Networks论文加代码，python(tensorflow)实现和lua实现
Augmenting Knowledge Distillation with Peer-to-Peer Mutual Learn
01-28
知识蒸馏（Knowledge Distillation, KD）是一种有效的模型压缩技术，它旨在将大型、复杂的教师网络的知识传授给小型、高效的 student 网络，使得 student 网络能够模仿教师网络的行为。这种方法使得在保持较高性能的...
KDGAN: Knowledge distillation with generative adversarial networks论文笔记
qq_43812519的博客
04-12 1016
论文地址：http://papers.nips.cc/paper/7358-kdgan-knowledge-distillation-with-generative-adversarial-networks.pdf github地址：https://github.com/xiaojiew1/KDGAN/ Motivation 在训练轻量级分类器时，知识蒸馏虽只需少量样本和训练次数就能收敛，但难以从...
Conditional adversarial networks
KGzhang的博客
08-17 3718
GAN网络在训练生成模型受到了广泛的青睐，文章介绍一个具有条件限制的GAN网络，通过简单的输入数据，来构建我们所需要的条件化的生成器和判别器。文章表明，该模型可以用于学习多模态模型，通过提供了图像标记应用程序的初步示例，演示了该方法如何生成不属于训练标签的描述性标签。 生成式对抗网络近期作为训练生成模型的替代框架，以回避近似许多棘手概率计算问题的困难。 对抗网络的优点是不需要马可夫链，只需要反向
论文阅读 Image-to-Image Translation with Conditional Adversarial Networks ：pix2pix
highoooo的博客
12-06 1938
1 引言 1.1 背景 Traditionally, each of these tasks has been tackled with separate, special-purpose machinery (e.g., [14, 23, 18, 8, 10, 50, 30, 36, 16, 55, 58]), despite the fact that the setting is always the same: predict pixels from pixels. Our goal in this
Feature-map-level Online Adversarial Knowledge Distillation论文笔记
qq_43812519的博客
03-01 1282
Feature-map-level Online Adversarial Knowledge Distillation论文笔记 论文地址：https://arxiv.org/abs/2002.01775v1 github地址：未公布 Motivation Feature maps中包含丰富的空间相关性等图像信息，但是在分类任务上，过去的online Knowledge Distillation只利...
Efficient Image Inpainting with Knowledge Distillation
01-29
"Efficient Image Inpainting with Knowledge Distillation" 本文总结了基于知识蒸馏的高效图像修复技术，解决了现有算法无法实时推断的问题。通过从三个方面对gated convolution进行优化，提出了基于金字塔采样...
Knowledge-Distillation:博客https
05-08
用Keras进行知识蒸馏Keras实施Hinton的知识蒸馏（KD），这是一种将知识从大模型转移到小模型的方法。概括我使用Caltech-256数据集对该技术进行了演示。... 结果： 模型准确性， ％ 前5个准确度，％ 对数损失Xception ...
Knowledge-Distillation-NLP:NLP中知识蒸馏的一些演示
05-31
在cifar10数据上的复现，提供一个对Knowledge Distillation的基本认识，具体内容请查阅： 2.利用BERT-12 作为Teacher，BERT-3作为student，同时学习ground truth 和 soften labels，性能与Teacher 相当甚至更优，...
KnowledgeDistillation:Knowledge distillation in text classification with pytorch. 知识蒸馏，中文文本分类，教师模型BERT、XLNET，学生模型biLSTM
05-04
知识蒸馏在文本方向上的应用 模型相关等内容在有具体介绍。 目录 更新日志 2020.08.28 整理代码结构，抛弃借鉴的Bert模型，增加xlnet模型，预训练xlnet模型效果较差，可以在模型基础上再进行预训练，因此添加了模型...
论文 Image-to-Image Translation with Conditional Adversarial Networks ( pix2pix ) 学习笔记
qq_39546227的博客
08-02 265
作者提出的条件生成对抗网络是一种解决图像风格转换（image-to-image translation）问题的通用方法。网络不仅学到了从输入图片到输出图片的映射，同时还学到了促成这种映射关系的损失函数。相比传统方法，作者方法对于不同风格图像的转换无需采用不同的损失函数，因此其通用性是这篇文章的亮点所在。作者还指出在发行了相关的 pix2pix软件 后，大量的网络使用者，包括一些艺术家都在上面进行了...
Data-Free Adversarial Distillation
weixin_37958272的博客
04-25 1009
Data-Free Adversarial Distillation 最近，Dosovitskiy和Brox[11]通过将自动编码方式与GAN的对抗性训练相结合，训练了能够从高度压缩的特征表示生成图像的网络。我们利用这些图像发生器网络作为先验产生合成的首选图像。这些生成器网络接近但不是真实的生成模型，因为它们在训练时没有像变分自动编码器[14]或GANs[17]那样对隐藏分布施加任何先验，也没有像去噪自动编码器[18]那样添加噪声。因此，在数据空间上既没有自然采样过程，也没有隐式密度函数。 我们引入模型差异
【深度学习】Adversarial Diffusion Distillation，SDXL-Turbo 一步出图
最新发布
q742971636的博客
12-03 972
对于基线，我们使用了最好的公开可用模型：潜在扩散模型[50, 54]（SD1.5 1，SDXL 2），级联像素扩散模型[55]（IF-XL 3），蒸馏扩散模型[39, 41]（LCM-1.5，LCM-1.5-XL 4），以及OpenMUSE[48]，MUSE[6]的重新实现，这是专门为快速推理开发的变压器模型。学生预训练（表1c）。最近，[13]的作者展示了基于分数的模型与GANs之间的强关系，并提出了Score GANs，这些GANs是使用来自扩散模型的基于分数的扩散流进行训练的，而不是使用鉴别器。
Data-Free Network Quantization With Adversarial Knowledge Distillation
weixin_37958272的博客
04-27 678
Data-Free Network Quantization With Adversarial Knowledge Distillation 1. Introduction 在本文中，我们提出了一个对抗性知识提炼框架，在无法获得原始训练数据的损失时，通过对抗性学习使最坏情况下的可能损失（最大损失）最小化。与[36]的关键区别在于，给定任何元数据，我们利用它们来约束对抗性学习框架中的发生器。为了避免额外的努力来制作新的元数据来分享，我们使用存储在批量规范化层中的统计数据来约束生成器，使其产生模仿原始训练数据的
神经网络水印\IP保护（论文解读Data-Free Adversarial Distillation）
weixin_44928295的博客
05-30 459
Data-Free Adversarial Distillation
【论文笔记_在线蒸馏、GAN】Online Multi-Granularity Distillation for GAN Compression
qq_45128278的博客
03-11 4554
2021年。 摘要 生成性对抗网络（GAN）在生成优秀图像方面取得了巨大的成功，但是，由于计算成本高，内存使用量大，在资源有限的设备上部署GAN非常困难。尽管最近压缩GAN的努力取得了显著的成果，但它们仍然存在潜在的模型冗余，可以进一步压缩。为了解决这个问题，我们提出了一种新的在线多粒度蒸馏（OMGD）方案来获得轻量级的GAN，这有助于以较低的计算需求生成高保真图像。我们首次尝试将单级在线蒸馏推广到面向GAN的压缩，逐步升级的教师生成器有助于改进基于无鉴别器的学生生成器。互补的教师生成器和网络层提供了全面.
【Mo 人工智能技术博客】当蒸馏遇上GAN
Mo 的博客
11-24 827
什么是知识蒸馏 我们知道在深度学习的大部分网络中，有很多神经元是冗余的，所以很多网络的参数量是巨大的，但是在很多移动端，比如手机上，是跑不动这么大的网络的。所以知识蒸馏的一开始的目标是做模型压缩，它的目标就是让一个更小的网络去拟合甚至是超越教师网络的性能。在通常情况下，学生网络的在蒸馏阶段的目标可以用这样的一个函数来表示，这里的损失函数L根据算法对知识的定义不同也会有不同的函数表示。 ![](https://img-blog.csdnimg.cn/img_convert/e8069c45f98ddb4452
【阅读笔记】KDGAN: Knowledge Distillation with Generative Adversarial Networks
盏茶AI
04-10 2614
知识蒸馏(KD)的目标是训练一种轻量级分类器，能够在多标签学习资源受限的情况下提供精确的推理。分类器不是直接使用特征标签对，而是由教师进行训练，即这是一个高能力的模型，它的培训可能需要大量资源。这种方法训练的分类器的精度通常不是理想的，因为很难从教师那里学习到真实的数据分布。另一种方法是在类似于生成对抗性网络(GAN)的二人博弈中，对分类器进行对抗性训练，以保证分类器在博弈均衡状态下...
OMGD:用于GAN压缩的在线多粒度蒸馏
syf的博客
09-13 772
提出了一种在线多粒度蒸馏（OMGD）技术来学习轻量级GAN。引入面向GAN的在线方案，交替促进教师和学生生成器，教师帮助学生热身，逐步引导优化方向。OMGD还充分利用了来自互补教师生成器和来自不同层的辅助监督信号的多粒度概念。
data-free knowledge distillation with soft targeted transfer set synthesis
09-26
数据免费知识蒸馏与软目标传输集合合成是一种通过利用现有数据集来提高深度神经网络的性能的方法。这种方法主要包括两个步骤：知识蒸馏和软目标传输集合合成。 首先，知识蒸馏是指将一个已经训练好的大型模型的知识...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值