datafree KD CVPR2023 学习笔记（Abstract）

最新推荐文章于 2024-10-10 16:23:05 发布
最新推荐文章于 2024-10-10 16:23:05 发布
阅读量283 收藏
点赞数
分类专栏： 小陈读paper系列 文章标签： 学习 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_68308828/article/details/131890369
版权
文章探讨了无数据蒸馏的最新趋势，特别是它与传统蒸馏的区别——无需训练数据。针对对抗性蒸馏中因多个生成器产生的非平稳分布伪样本导致的学生网络性能下降问题，提出了一个新方案，即在每个生成器更新时结合历史样本和当前分布进行学习，以保持学生网络的性能。该研究还涉及meta-learning的概念，并通过大量实验验证了其假设和方法的有效性。
摘要由CSDN通过智能技术生成

 这个 是摘要的前部分

摘要

简单的提及 无数据的蒸馏 是怎么样的

和普通的蒸馏有一个本质的区别：没有训练数据 

很火啊 最近

在对抗性的蒸馏框架中呢 存在一个问题

 由于多个生成器生成的  非平稳分布的pseudo-samples 导致了学生网络的性能不好

提出一个解决方案的ideal

为此呢 有个ideal 想在每个生成器更新的时候，     

学习之前遇到的样本并同时从当前样本分布中获取知识。。。还没太看懂（描述不准确）

来维持学生的性能

浅浅的看一看meta-learning

 

 

 其实挺有意义的 

我们往下走

 然后做了大量的实验 验证了 这篇提出来的假设和方法

 

东东要拼命
关注
专栏目录
Data-Free Network Quantization With Adversarial Knowledge Distillation
weixin_37958272的博客
04-27 720
Data-Free Network Quantization With Adversarial Knowledge Distillation 1. Introduction 在本文中，我们提出了一个对抗性知识提炼框架，在无法获得原始训练数据的损失时，通过对抗性学习使最坏情况下的可能损失（最大损失）最小化。与[36]的关键区别在于，给定任何元数据，我们利用它们来约束对抗性学习框架中的发生器。为了避免额外的努力来制作新的元数据来分享，我们使用存储在批量规范化层中的统计数据来约束生成器，使其产生模仿原始训练数据的
mysql datafree 单位_浅析MySQL数据碎片的产生(data free)
weixin_27442001的博客
01-19 1993
浅析MySQL数据碎片的产生2011-03-30 09:28 核子可乐译 51CTO 字号：MySQL列表，包括MyISAM和InnoDB这两种最常见的类型，而根据经验来说，其碎片的产生及消除都是随机的。碎片会在你的表格中留下明显的空白，而这会给列表扫描工作带来相当大的困扰。对你的列表进行优化，这样会使列表的全面及分区扫描工作进行得更有效率。【51CTO独家译文】本文浅析MySQL数据碎片的产生：...
【论文翻译_无数据知识蒸馏_元学习_2022】Up to 100× Faster Data-free Knowledge Distillation
qq_45128278的博客
03-25 4351
摘要 data-free知识蒸馏（DFKD）由于其仅使用人造合成数据压缩模型的能力，近年来越来越受到研究界的关注。尽管取得了令人鼓舞的成果，但最先进的DFKD方法仍然存在数据合成效率低下的问题，这使得无数据训练过程非常耗时，因此不适用于大规模任务。在这项工作中，我们介绍了一种有效的方案，称为FastDFKD，它允许我们将DFKD加速一个数量级。我们方法的核心是一种新的策略，即重用训练数据中的共享公共特征，从而合成不同的数据实例。与之前独立优化一组数据的方法不同，我们建议学习一个元合成器，它寻找共同的特征作.
无训练数据压缩网络《Data-Free Learning of Student Networks》读后总结
yzqlyzql的博客
09-17 3544
无训练数据压缩网络《Data-Free Learning of Student Networks》读后总结前言文章主要内容与贡献提出了一个有效的无数据训练的办法有效的组合了GAN和教师-学生网络设计了适合于该模型的总损失函数$L_{Total}$one-hot损失函数$L_{oh}$激活损失函数$L_{a}$生成图像的信息熵损失函数$L_{ie}$对多个数据集和多个网络进行了实验以证明有效性 前言...
【论文阅读】CVPR2022 ||Towards Efficient Data Free Black-box Adversarial Attack
qq_45822394的博客
04-19 551
经典的黑盒对抗攻击可以利用类似替代模型生成的可转移对抗样本来成功欺骗目标模型。然而，这些替代模型需要通过目标模型的训练数据进行训练，由于隐私或传输原因，很难获得。认识到对抗性查询的真实数据的可用性有限，最近的工作提出在无数据黑盒场景中训练替代模型。然而，他们基于生成对抗网络（GAN）的框架存在收敛失败和模型崩溃的问题，导致效率低下。在本文中，通过重新思考生成器和替代模型之间的协作关系，我们设计了一种新颖的黑盒攻击框架。所提出的方法可以通过少量的查询有效地模仿目标模型，并获得较高的攻击成功率。
mysql datafree 单位_MySQL：Innodb表 Data free 的计算概要
weixin_30529683的博客
01-19 191
简单记录一下，因为看了一下Data free的计算还算准确。不是统计值大概是空闲extent的大小。ST_FIELD_INFO tables_fields_info[]={...{"DATA_FREE", MY_INT64_NUM_DECIMAL_DIGITS, MYSQL_TYPE_LONGLONG, 0,(MY_I_S_MAYBE_NULL | MY_I_S_UNSIGNED), "Data_...
阅读笔记：ZeroQ: A Novel Zero Shot Quantization Framework
qq_16907619的博客
04-02 380
阅读笔记：ZeroQ: A Novel Zero Shot Quantization Framework1、What the problems the paper mentioned ?2、Summary of major innovations (intro)3、How about the important related works/papers?(related work)4、What are some intriguing aspects of the paper?(design&impl
【论文笔记_知识蒸馏_2022】Knowledge Distillation with the Reused Teacher Classifier
qq_45128278的博客
04-11 4716
代码地址： https://github.com/Rorozhl/CA-MKD https://github.com/zju-vipa/DataFree （下文中的知识提炼即知识蒸馏） 摘要 知识提炼的目的是将一个强大而繁琐的教师模型压缩到一个轻量级的学生模型中，而不至于牺牲很多性能。为此，在过去的几年里，人们提出了各种方法，一般都有精心设计的知识表示，这反过来又增加了模型开发和解释的难度。相比之下，我们的经验表明，一个简单的知识提炼技术足以大大缩小师生之间的性能差距。我们直接将预先训练好的教师模型中的判.
模型量化：轻量化你的深度学习模型
诸神缄默不语的博客
11-15 3081
本文介绍模型量化
无数据模型窃取——Data-Free Model Extraction
weixin_48654804的博客
10-27 2893
Data-Free Model Extraction 2021CVPR 论文地址 Truong, Jean-Baptiste, et al. “Data-free model extraction.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021. 模型窃取，指攻击者通过黑盒查询，从而还原模型或者获取模型训练集信息的攻击。 模型窃取繁衍出非常多的方式，比如数据增强，差分查询，
Generative Data-free Quantization——生成式无数据训练后量化方法
AI Flash
05-15 1764
前言 针对深度学习模型的边缘、移动端设备部署，模型量化已经成为必不可少的技术手段，一方面可缓解模型存储、运行时内存的Overhead（例如INT8量化的理论压缩比为4倍），另一方面通过专用整形计算单元或加速指令可实现推理加速（例如NV GPU的TensorCore单元）。 出于用户隐私与数据安全考虑，大多数场景应用仅提供少量无标注数据以支持Label-freePTQ，或者不提供任何数据。在用户不提供任何数据时，Data-free Quantization需要借助Pre-trained Mode...
Contrastive Model Inversion for Data-Free Knowledge Distillation
weixin_37958272的博客
08-03 705
Contrastive Model Inversion for Data-Free Knowledge Distillation Model inversion，其目标是从预训练的模型中恢复训练数据，最近被证明是可行的。然而，现有的inversion方法通常存在模式崩溃问题，即合成的样本彼此高度相似，因此对下游任务（如知识蒸馏）的有效性有限。在本文中，我们提出了 Contrastive Model Inversion （CMI），其中数据多样性被明确地建模为一个可优化的目标，以缓解模式崩溃问题。 我们主要观
mysql max datalength_关于data_length,index_length,data_free的实验
weixin_33359523的博客
01-27 1970
#sysbench--test=oltp--mysql-host=127.0.0.1--mysql-db=test--oltp-table-name=dbtest--mysql-table-engine=innodb--oltp-table-size=10000000--mysql-engine-trx=yes--mysql-user=root--mysql-sock...
正点原子学习笔记之汇编LED驱动实验
q1594的博客
10-10 455
为什么要写汇编需要用汇编初始化一些SOC外设使用汇编初始化DDR、I.MX6U不需要设置sp指针，一般指向DDR，设置好C语言运行环境。
10.2学习
2401_87363162的博客
10-02 1184
​ Spring AOP就是基于动态代理的，如果要代理的对象，实现了某个接⼝，那么Spring AOP会使⽤JDKProxy，去创建代理对象，⽽对于没有实现接⼝的对象，就⽆法使⽤ JDK Proxy 去进⾏代理了，这时候Spring AOP会使⽤基于asm框架字节流的Cglib动态代理 ，这时候Spring AOP会使⽤ Cglib ⽣成⼀个被代理对象的⼦类来作为代理。每个线程中都有一个自己的ThreadLocalMap类对象，可以将线程自己的对象保持到其中，各管各的，线程可以正确的访问到自己的对象。
2024年网络安全进阶学习路径-2024年进阶学习指南
2401_85026965的博客
10-10 1036
网络安全可以基于攻击和防御视角来分类，我们经常听到的 “红队”、“渗透测试” 等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。走安全行业的工程方向的，技术上面其实有很大的重叠性，抛开甲乙方、岗位名称、岗位职责等因素来看，作为学技术的，也根据以往我们给学员推荐就业和入职情况来看，只要好好掌握以下几种技术（网络协议与安全设备、Linux操作系统、Web服务部署/开发、主流渗透测试/安全工具、一门及以上的编程语言）中的2到3个，都可以较好的胜任工作需求。
SpringCloud的学习（四）Micrometer、GateWay
最新发布
二狗mao的博客
10-10 614
步骤：新建类名xxx需要以RoutePredicateFactory结尾，并继承AbstractRoutePredicateFactory类。@Component //此注解不可忘重写apply方法@Override新建apply所需要的静态内部类MyRoutePredicateFactory.Config，这个类就是我们路由断言规则。（重要）@Validated@Setter@Getter@NotEmpty//钻、金、银等用户等级空参构造方法，内部调用super。
Go基础学习10-原子并发包sync.atomic的使用：CSA、Swap、atomic.Value......
FLJS_T的博客
10-02 1167
原子操作sync.atomic以及原子变量atomic.Value详细介绍。go中原生的支持原子操作的函数支持的变量类型int32、int64、uint32、uint64、uintptr，以及unsafe包中的Pointer。对于上述原子操作类型中的每一个，可以支持的数据类型有：==int32、int64、uint32、uint64、uintptr，以及unsafe包中的Pointer。但是否sync.Mutex变量能够保证操作的原子性。atomic.Value类型是开箱即用的，我们声明一个该类型的变量
10.8学习
2401_87363162的博客
10-08 883
每一个server都有一个定时器，超时时间为election timeout（一般为150-300ms），如果某server没有超时的情况下收到来自领导者或者候选者的任何消息，定时器重启，如果超时，它就开始一次选举。A：假设存在这样一种极端情况，有两个Proposer依次提出了一系列编号递增的提案，导致最终陷入死循环，没有value被选定。●Acceptor：决策者，Accept以后会拒绝小于N的提案，并把自己的[N,V]返回给Proposer。2PC协议：两阶段提交协议，P是指准备阶段，C是指提交阶段。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

东东要拼命

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值