AAAI2021 蒸馏论文review

最新推荐文章于 2024-08-29 20:27:47 发布
最新推荐文章于 2024-08-29 20:27:47 发布
阅读量2.3k 收藏
点赞数
分类专栏： 知识蒸馏 文章标签： 计算机视觉 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012526003/article/details/122304444
版权
本文介绍了AAAI2021会议上关于知识蒸馏的最新论文，重点关注计算机视觉和自然语言处理领域的研究。论文涉及自动化特征选择、跨层蒸馏、多出口架构优化、自监督表示学习以及对比学习等方法，旨在提高模型性能和泛化能力。
摘要由CSDN通过智能技术生成

简介

  • aaai论文列表：https://aaai.org/Conferences/AAAI-21/wp-content/uploads/2020/12/AAAI-21_Accepted-Paper-List.Main_.Technical.Track_.pdf
  • 总体：feature map的蒸馏很普遍，之前很多手动选择feature map的蒸馏方法，这次aaai2021的论文中，有3篇关于feature map的蒸馏论文，都是基于自动挑选feature map/attention的思路去做的，这也可以看出一个趋势：中间层特征是大家研究的热点，但是怎样去自动挖掘中间层特征的信息，还有待进一步的挖掘。

蒸馏相关论文列表

  • PSSM-Distil: Protein Secondary Structure Prediction (PSSP) on Low-Quality PSSM by Knowledge Distillation with Contrastive Learning

  • LRC-BERT: Latent-Representation Contrastive Knowledge Distillation for Natural Language Understanding

  • Peer Collaborative Learning for Online Knowl

了解本专栏 订阅专栏 解锁全文 超级会员免费看
littletomatodonkey
关注
专栏目录
订阅专栏
【知识蒸馏】2021年最新知识蒸馏综述和论文总结
梁瑛平的博客
08-11 1226
【知识蒸馏】2021最新知识蒸馏综述和论文总结简介：按照“知识”的定义来分类：按照教师模型来分类：按照“数据”有无来分类： 简介： 按照“知识”的定义来分类： 按照教师模型来分类： 按照“数据”有无来分类： ...
论文阅读：【AAAI 2020 】Long Short-Term Sample Distillation(基于长短期老师的样本蒸馏方法)
04-05 525
语雀引流： https://www.yuque.com/chudi/tzqav9/fgprse
知识蒸馏论文翻译（11）—— Knowledge Transfer via Dense Cross-Layer Mutual-Distillation
lsfeitianzhuzhuxia的博客
05-10 326
基于知识蒸馏（KD）的方法采用单向知识转移（KT）方案，在该方案中，由预先训练的高容量教师网络来指导低容量学生网络的训练。最近，深度相互学习（DML）提出了一种双向KT策略，表明学生网络也有助于改善教师网络。在本文中，我们提出了密集跨层相互蒸馏（DCM），这是一种改进的双向KT方法，其中教师和学生网络从头开始协同训练。为了增强知识表示学习，在教师和学生网络的某些隐藏层中添加了精心设计的辅助分类器。为了提高KT性能，我们在附加分类器的层之间引入了密集的双向KD操作。
蒸馏论文五（Neuron Selectivity Transfer）
蓝鲸鱼的博客
08-03 704
本文介绍了一种知识蒸馏的方法（Neuron Selectivity Transfer） 1. 主要思想 如图所示为神经元选择性迁移的架构。学生网络不仅利用真正的标签训练，而且还模仿了教师网络中间层的激活分布。图中的每个点或三角形表示其对应的滤波器的激活图。 2. 损失函数 最大平均差异（MMD）用作损失函数来衡量教师和学生特征之间的差异。MMD的想法就是求两个随机变量在高维空间中均值的距离 可以应用内核技巧展开，将上式子转化成如下形式： 在应用中，上述x和y为学生网络和教师网络归一化后的特征图，因此：
超越教师！PointDistiller：面向高效紧凑3D检测的结构化知识蒸馏（CVPR2022）
CV_Autobot的博客
09-11 484
点云表示学习的显著突破促进了它们在自动驾驶汽车和虚拟现实等现实世界应用中的使用。然而，这些应用通常迫切需要不仅准确而且高效的 3D 对象检测。 最近，知识蒸馏已被提出作为一种有效的模型压缩技术，它将知识从过度参数化的教师转移到轻量级学生，并在 2D 视觉中实现一致的有效性。然而，由于点云的稀疏性和不规则性，直接将以前的基于图像的知识蒸馏方法应用于点云检测器通常会导致性能不理想。
[2022AAAI]Knowledge Distillation for Object Detection via Rank Mimicking and ... 论文笔记
weixin_45750753的博客
03-12 5277
目录摘要MethodRank mimickingPrediction-guided Feature Imitation总损失实验总结 论文全名有点长，题目放不下了： Knowledge Distillation for Object Detection via Rank Mimicking and Prediction-guided Feature Imitation 已经被AAAI2022接收。 摘要 出发点：student性能差的两个原因： 1.候选框排序差别很大，如下图所示。对于简单的目标(图1a)，
【论文阅读】Stealing Image-to-Image Translation Models With a Single Query（2024）
最新发布
Glass_Gun的博客
08-29 1131
Training deep neural networks（训练深度神经网络） requires（需要） significant computational resources（大量计算资源） and large datasets（大型数据集） that are often confidential（机密的） or expensive（昂贵的） to collect. As a result（因此）, owners（所有者） tend to（倾向于） protect（保护） their models by
车道检测网络论文（保持更新）
weixin_40279184的博客
11-02 1123
1.通过可微分最小二乘拟合的端到端车道检测 《End-to-end Lane Detection through Differentiable Least-Squares Fitting》 代码地址Github 2.基于CNN的连续驾驶场景鲁棒车道线检测 《Robust Lane Detection from Continuous Driving Scenes Using Deep Neural ...
【论文阅读】【三维目标检测】Student-Teacher Network在3D目标检测中的应用
麒麒哈尔的博客
07-10 1728
文章目录3DIoUMatch: Leveraging IoU Prediction for Semi-Supervised 3D Object DetectionPseudo-Label Filtering and DeduplicationSelective Supervision using Pseudo-Labels总结SE-SSD: Self-Ensembling Single-Stage Object Detector From Point CloudMotivationConsistency L
AAAI 2022：基于锚框排序的目标检测知识蒸馏｜AI Drive
shujushizhanpai的博客
04-18 2855
「AI Drive」是由 biendata 和 PaperWeekly 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，而有效地反馈和交流可能会让知识的传播更加有意义，从而产生更大的价值。 知识蒸馏是模型压缩的有效手段，但是目标检测网络的知识蒸馏方法却很少被研究。 传统的soft label蒸馏，在目标检测任务上基本没有提升。基于这个发现，南京理工大学计算机学院博士李钢和他的团队提出了一种适用于目标检测的锚框排序蒸馏，充分利用了检测网络..
蒸馏论文十（Structured Knowledge Distillation for Dense Prediction）
蓝鲸鱼的博客
11-09 1241
在本文中，我们将介绍知识蒸馏论文Structured Knowledge Distillation for Dense Prediction。 在论文中，考虑到稠密预测是一个结构化预测问题，本文提出将结构化知识从教师网络提取到学生网络。具体来说，我们研究了两种结构化蒸馏方案： 成对蒸馏，通过建立静态图来提取成对相似点 运用对抗性训练来提炼整体知识的整体提炼法。 ...
【AAAI 2021】在线知识蒸馏中的对等协同学习：Peer Collaborative Learning for Online Knowledge Distillation
梁瑛平的博客
08-07 1105
【AAAI 2021】在线知识蒸馏中的协同学习：Peer Collaborative Learning for Online Knowledge Distillation论文地址：主要问题：主要思路： 论文地址： https://arxiv.org/abs/2006.04147 主要问题： 传统的知识蒸馏采用两阶段的训练策略，很大程度上依赖于预先训练的教师 最近的在线知识蒸馏通过协作学习、相互学习和在线集成减轻了这种限制，而且只需要进行一次端到端训练 然而，协作学习和相互学习未能构建一个在线的具有高容量知识
Cross-Layer Distillation with Semantic Calibration--带有语义校准的跨层蒸馏
wangtao990503的博客
12-06 1578
知识蒸馏是一种通过利用教师模型的输出来增强学生模型泛化能力的技术。最近，基于特征图的变体探索了中间层中手动分配的师生对之间的知识转移，以进一步改进。然而，不同神经网络中的层语义可能不同，人工层关联中的语义失配将导致由于负正则化而导致性能退化。SemCKD），它通过注意力机制为每个学生层自动分配教师模型的适当目标层。
CCF A类会议或期刊----近两年对比学习相关论文
Thincor的博客
03-20 5583
会议/期刊 论文 sigmod2021 Explaining Black-Box Algorithms Using Probabilistic Contrastive Counterfactuals. neurips2020 Adversarial Self-Supervised Contrastive Learning. neurips2020 Demystifying Contrastive Self-Supervised Learning: Invariances, Augme....
【CVPR 2020】蒸馏篇（四）：Online Knowledge Distillation via Collaborative Learning
梁瑛平的博客
08-12 1122
【CVPR 2020】蒸馏篇（四）：Online Knowledge Distillation via Collaborative Learning，这篇文章提出了一种新的通过协作学习在线知识蒸馏方法，即具有不同能力的学生网络协同学习，生成高质量的软目标监督，为每个学生提取额外的知识，其中高质量的软目标监督旨在指导具有显著性能差距的学生以较高的泛化能力和较小的方差一致收敛
【AAAI 2021】跨层知识蒸馏：Cross-Layer Distillation with Semantic Calibration
梁瑛平的博客
08-06 1474
【AAAI 2021】跨层知识蒸馏：Cross-Layer Distillation with Semantic Calibration论文地址：代码地址：主要问题：主要思路：具体实现：基本符号：语义校准公式：实验结果：联系作者：我的公众号： 论文地址： https://arxiv.org/abs/2012.03236 代码地址： https://github.com/DefangChen/SemCKD 主要问题： 目前的知识蒸馏算法中，中间层的语义在不同的网络中可能会有所不同，而层的人工关联可能会导致某些
【转】Knowledge-Distillation 知识蒸馏论文集合
u014546828的博客
06-28 9558
Awesome Knowledge-Distillation 博客转自CTOLib码库：https://www.ctolib.com/FLHonker-Awesome-Knowledge-Distillation.html Awesome Knowledge-Distillation Different forms of knowledge Knowledge from logits Knowledge from intermediate layers Graph-based.
2022年顶会accepted papers list(NeurIPS/CVPR/ICML/ICLR/ECCV/AAAI/IJCAI/WWW...)
热门推荐
lijinde07的博客
01-23 5万+
Accepted papers list（2022.1.23） AAAI 2022 Accepted papers list：https://aaai.org/Conferences/AAAI-22/wp-content/uploads/2021/12/AAAI-22_Accepted_Paper_List_Main_Technical_Track.pdf [Submission of archival versions of papers for publication in the AAAI digi
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

littletomatodonkey

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值