【知识蒸馏】2021年最新知识蒸馏综述和论文总结

最新推荐文章于 2022-11-28 19:59:45 发布
最新推荐文章于 2022-11-28 19:59:45 发布
阅读量1.2k 收藏 9
点赞数 2
分类专栏： 深度学习-模型压缩（蒸馏剪枝量化） 文章标签： 计算机视觉 深度学习 模型压缩 知识蒸馏 知识蒸馏综述
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44936889/article/details/119619401
版权
这篇博客全面综述了2021年的知识蒸馏领域，从不同角度如知识定义、教师模型类型及数据使用情况探讨了知识蒸馏在深度学习和模型压缩中的应用。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
BIT可达鸭
关注
专栏目录
订阅专栏
【CVPR 2021】Knowledge Review：知识蒸馏新解法
梁瑛平的博客
07-18 1379
【CVPR 2021】Knowledge Review：知识蒸馏新解法论文地址：主要问题：主要思路：符号假设：具体实现：实验结果：关注我的公众号：联系作者： 论文地址： https://jiaya.me/papers/kdreview_cvpr21.pdf 主要问题： 目前大部分关于KD的方法都是基于相同层或者相同Block之间的知识迁移。但是Teacher往往深层表示抽象的语义信息，底层表示简单的知识的信息。 因此在Student训练初期，直接学习Teacher的深层抽象语义信息，显然是非常困难。 由此作
iccv2021 知识蒸馏文章review
Hello World
10-12 785
前言 本文主要是总结iccv2021里的一些关于知识蒸馏的文章，希望对之后的工作有所启发 所有论文地址：https://openaccess.thecvf.com/ICCV2021
【论文笔记_知识蒸馏_2021】KNOWLEDGE DISTILLATION VIA SOFTMAX REGRESSION
qq_45128278的博客
04-13 3259
代码地址:https://github.com/jingyang2017/KD_SRRL 摘要 本文通过知识提炼解决了模型压缩的问题。我们主张采用一种优化学生网络倒数第二层的输出特征的方法，因此与表征学习直接相关。为此，我们首先提出了一种直接的特征匹配方法，它只关注优化学生的倒数第二层。其次，更重要的是，由于特征匹配没有考虑到手头的分类问题，我们提出了第二种方法，将表征学习和分类解耦，利用教师的预训练分类器来训练学生的倒数第二层特征。特别是，对于相同的输入图像，我们希望教师和学生的特征在通过教师的分类器时.
自我知识蒸馏学习论文总结
PyBigStar的博客
02-17 1839
自我知识蒸馏学习论文总结  博主看了几篇有关自我知识蒸馏的论文，大致将self-distillation划分为两类：第一类就是从时间的前后进行蒸馏，即前面几个epochs的模型去蒸馏后面几个epochs的模型；第二类就与Deep Supervision类似，即深层的part去蒸馏浅层的part。针对这两大类，博主各写了一篇原论文的阅读笔记，整合在这里方便阅读和查找，也欢迎大家一起探讨。 第一类，Self-Knowledge Distillation: A Simple Way for Better Ge
知识蒸馏论文的一些自己总结
a362682954的博客
03-27 490
本文只是对论文的一些总结，不关注于具体细节公式，主要是了解思想，如果有空我会专门的开博客对一些论文进行细节讲述，如果本文说明有问题的，欢迎联系我，欢迎指正。 一. Attention Transfer Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks vi...
大规模模型的高准确率与低成本之间的差距及知识蒸馏技术的应用
10925ImageNet top-1精度知识提炼：一个好老师是有耐心和始终如一的LucasBe yerXiaohuaZhaiAme' lieRo yerLarisaMark eevaZahanRohanAnilAlexanderKolesnikovGoogle Research，Brain Team{lbeyer，xzhai，...
综述：目标检测二十年（2001-2021）
最新发布
01-18
【综述：目标检测二十年（2001-2021）】 目标检测作为计算机视觉领域的核心任务，从早期依赖于人工设计特征的传统方法，发展到现今利用深度学习技术的自动化特征学习，其精度和速度都有显著提升。本文旨在梳理这一...
知识蒸馏研究综述
LiuAmber的博客
11-28 2897
知识蒸馏综述阅读
深度学习如何又好又快? Google最新《高效深度学习: 更小、更快、更好》综述论文
06-19
Google的这篇综述论文《高效深度学习: 更小、更快、更好》通过详细的调查和实验指南，结合代码示例，为研究者和实践者提供了优化模型训练和部署的实用方法和思想，使得读者能够在理解领域基础知识的同时，应用通用...
最新《知识蒸馏》2020综述论文（来自悉尼大学）
06-14
近年来，深度神经网络在工业和学术界取得了巨大的成功，特别是在视觉识别和神经语言处理方面的应用。深度学习的巨大成功，主要归功于其巨大的可扩展性，既有大规模的数据样本，也有数十亿的模型参数。
「知识蒸馏」最新2022研究综述
zenRRan的博客
03-22 1619
每天给你送来NLP技术干货！来自：专知华南师范大学等《知识蒸馏》最新综述论文高性能的深度学习网络通常是计算型和参数密集型的，难以应用于资源受限的边缘设备. 为了能够在低 资源设备上运行深度学习模型，需要研发高效的小规模网络. 知识蒸馏是获取高效小规模网络的一种新兴方法， 其主要思想是将学习能力强的复杂教师模型中的“知识”迁移到简单的学生模型中. 同时，它通过神经网络的互 ...
论文阅读：Knowledge Distillation: A Survey 知识蒸馏综述（2021）
qq_39710087的博客
04-02 6821
论文阅读：Knowledge Distillation: A Survey 知识蒸馏综述2021 摘要 近年来，深度神经网络在工业界和学术界都取得了成功，尤其是在计算机视觉任务中。深度学习的巨大成功主要归功于它的可扩展性，可以对大规模数据进行编码，并操纵数十亿个模型参数。然而，在资源有限的设备（如手机和嵌入式设备）上部署这些繁琐的深度模型是一个挑战，这不仅是因为计算复杂度高，而且还因为存储需求大。为此，人们开发了各种模型压缩和加速技术。作为模型压缩和加速的一种典型类型，知识蒸馏有效地从大型教师模型中学习小型
【CVPR 2021】基于样本间关系的知识蒸馏：Complementary Relation Contrastive Distillation
梁瑛平的博客
07-18 1621
【CVPR 2021】基于样本间关系的知识蒸馏：Complementary Relation Contrastive Distillation论文地址：主要问题：主要思路：算法优点：具体实现：基本符号：优化目标：优化目标的下限： 论文地址： https://arxiv.org/abs/2103.16367 主要问题： 之前的知识蒸馏学习的是每个样本单独的特征距离（即让teacher和student模型对每个样本的特征近似），但是作者考虑不同样本间的特征距离也是重要的结构化信息（如下图），因此提出了CRCD蒸
cvpr2021 知识蒸馏文章review
Hello World
11-15 3521
前言 本文主要是总结cvpr2021里的一些关于知识蒸馏的文章，希望对之后的工作有所启发。 所有论文地址：https://openaccess.thecvf.com/CVPR2021。 Complementary Relation Contrastive Distillation 论文地址：https://openaccess.thecvf.com/content/CVPR2021/papers/Zhu_Complementary_Relation_Contrastive_Distillation_CVP
【AAAI 2021】基于Attention的知识蒸馏：Knowledge Distillation via Attention-based Feature Matching
梁瑛平的博客
08-05 2106
【AAAI 2021】基于Attention的知识蒸馏：Knowledge Distillation via Attention-based Feature Matching论文地址：代码地址：主要问题：主要思路：具体实现：实验结果： 论文地址： https://arxiv.org/abs/2102.02973 代码地址： github.com/clovaai/attention-feature-distillation 主要问题： 大多数基于特征的知识蒸馏都是手动连接教师和学生的中间特征，并通过预定义的链
图神经网络的无数据对抗知识提取
emory.edu，lis221@lehigh.edu摘要图神经网络（GNNs）由于其在广泛的实际应用中的优异性能，已被广泛应用于图结构数据的最近，GNN的知识蒸馏（KD）在图模型压缩和知识传输方面取得了显着进展。然而，大多数现有的KD...
知识蒸馏首篇论文解读
陶将的博客
11-04 7913
知识蒸馏是一种模型压缩的方式。对于训练好的大而笨重的模型，我们使用另一种训练方式，**“蒸馏”**，将从大而笨重中需要的知识转换到一个小但是更合适部署的模型。
知识蒸馏经典论文详解
蓝鲸鱼的博客
08-03 2145
Knowledge from logits 蒸馏论文一（knowledge distillation）：利用soft target Knowledge from intermediate layers 蒸馏论文二（Attention Transfer）：利用注意力图 蒸馏论文三（Similarity-Preserving）：利用特征图内在相似性 蒸馏论文五（Neuron Selectivity Transfer）：利用教师网络中间层神经元的激活分布 蒸馏论文六（Probabilistic Knowledge
【高德AAAI2021论文解读】LRC-BERT：对比学习潜在语义知识蒸馏
高德技术
12-30 2233
高德智能技术中心研发团队在工作中设计了对比学习框架进行知识蒸馏，并在此基础上提出COS-NCE LOSS，该论文已被AI顶会AAAI2021接收。NLP自然语言处理在高德各个业务线发挥重...
【零样本知识蒸馏】（九）ICCV 2021：Feature Refinement for Generalized Zero-Shot Learning
梁瑛平的博客
08-31 939
【零样本知识蒸馏】（九）ICCV 2021：Feature Refinement for Generalized Zero-Shot Learning论文地址：代码地址：主要问题：主要思路：算法动机：整体框架：基本符号：具体实现：Revisiting f-VAEGAN：Feature Refinement:实验结果： 论文地址： https://arxiv.org/abs/2107.13807 代码地址： https://github.com/shiming-chen/FREE 主要问题： 广义零镜头学习（
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BIT可达鸭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值