论文讲解：Knowledge distillation: A good teacher is patient and consistent

最新推荐文章于 2023-12-14 20:08:10 发布
最新推荐文章于 2023-12-14 20:08:10 发布
阅读量1.2k 收藏 2
点赞数 1
分类专栏： 知识蒸馏 计算机视觉论文-训练技巧-工具 图像处理 文章标签： 知识蒸馏 深度学习 图像分类 模型轻量化 PaddlePaddle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012526003/article/details/120900023
版权
本文深入探讨了知识蒸馏在深度学习中的应用，特别是针对图像分类任务。通过实验，作者发现耐心且一致的教学（consistent teaching）方法能有效提升模型性能，避免过拟合。长期训练和合适的数据增强策略也能显著提高蒸馏效果。此外，预训练模型初始化虽有助于初期收敛，但随机初始化在长时间训练后可能表现更优。最后，即使在‘out-of-domain’数据上进行蒸馏，也能带来一定提升，但需要更长的训练时间。
摘要由CSDN通过智能技术生成

前言

论文地址：https://arxiv.org/abs/2106.05237

  • google的文章向来是不差钱，这篇文章也是如此，把ImageNet1k数据集的蒸馏做到了1W epoch，而且还做了大量的对比实验。虽然无法复现，不过能直接用结论也是ok的。
  • 量化裁剪和蒸馏是模型轻量化三板斧，裁剪可能会带来通道不平衡的问题，量化的收益稳定，这篇文章主要是对蒸馏展开研究。
  • 作者发现，只要给蒸馏足够的时间，他是能带来足够的惊喜的，最终只是基于该数据集，将ResNet50在ImageNet1k上的结果刷到了82.8%。

实验设置

简单起见，作者主要分析了以下4种蒸馏的方式

  • fixed teacher：对于同一张图像，student会对图像做random crop，teacher对图像做center crop，这样的话，同一张图像的teacher prediction是完全固定的，这个也就是noisy student的做法
  • independent noise：teacher和student对同一张图像分别做随机crop，生成预测结果ÿ
了解本专栏 订阅专栏 解锁全文 超级会员免费看
littletomatodonkey
关注
专栏目录
订阅专栏
【AAAI 2021】基于Attention的知识蒸馏：Knowledge Distillation via Attention-based Feature Matching
梁瑛平的博客
08-05 2062
【AAAI 2021】基于Attention的知识蒸馏：Knowledge Distillation via Attention-based Feature Matching论文地址：代码地址：主要问题：主要思路：具体实现：实验结果： 论文地址： https://arxiv.org/abs/2102.02973 代码地址： github.com/clovaai/attention-feature-distillation 主要问题： 大多数基于特征的知识蒸馏都是手动连接教师和学生的中间特征，并通过预定义的链
论文解读：Decoupled Knowledge Distillation
Hello World
05-03 1394
1. 论文基本信息 论文：Decoupled Knowledge Distillation 地址：https://arxiv.org/pdf/2203.08679.pdf 代码：https://github.com/megvii-research/mdistiller 2. 背景与摘要 知识蒸馏花样繁多，在有教师模型的基础上，知识蒸馏可以从response、relation、feature等角度进行研究，设计loss，本文中，作为认为其实最基础的KD仍然有很大的潜力可以挖掘。因此对KD方法进行改进，将教
​NeurIPS 2022 | DIST: 少学点反而更好！商汤开源松弛知识蒸馏方法
Paper weekly
03-01 423
©Paperweekly 原创 · 作者 | An.单位 | 中科院自动化所研究方向 | 计算机视觉、模型压缩论文标题：Knowledge Distillation from A Stronger Teacher论文链接：https://arxiv.org/pdf/2205.10536.pdf代码链接：https://github.com/hunto/DIST_KD引言深度神经网络在计算机视觉领...
【Knowledge distillation: A good teacher is patient and consistent】
afadgas的博客
03-03 538
Knowledge distillation: A good teacher is patient and consistent
A good teacher is patient and consistent（CVPR 2022）论文解读
00000cj的博客
12-14 1045
本文没有提出新的方法，而是提出了一些影响蒸馏性能的关键因素，这些因素在之前的蒸馏方法中常常被忽略，本文通过实验验证，指出正确的选择这些因素，可以大大提高现有蒸馏方法的性能。 首先，本文将知识蒸馏当做教师和学生之间的函数匹配，并发现了两个原则，一是教师和学生应该处理相同的输入，即相同的crop和数据增强；二是希望可以在大量的support points上进行函数匹配，从而具有更好的泛化性。 最后通过大量实验验证，作者指出一致的图像视图、更强的数据增强、非常长的迭代次数是实践中通过知识蒸馏进行模型压缩发挥良
【论文笔记_知识蒸馏_2022】Knowledge Distillation from A Stronger Teacher
qq_45128278的博客
05-26 1248
来自一个更强的教师的知识蒸馏 摘要 不同于现有的知识提取方法侧重于基线设置，其中教师模型和培训策略不如最先进的方法强大和有竞争力，本文提出了一种称为DIST的方法，以从更强的教师中提取更好的知识。我们从经验上发现，学生和更强的老师之间的预测差异可能会相当严重。因此，KL散度预测的精确匹配将干扰训练，并使现有方法表现不佳。在本文中，我们证明了简单地保持教师和学生的预测之间的关系就足够了，并提出了一种基于相关性的损失来显式地捕捉来自教师的内在类间关系。此外，考虑到不同实例对每个类具有不同的语义相似性，我们还将.
Consistent-Teacher
whaosoft143ai的博客
05-30 210
据观察，静态作业对教师预测的边界框中的噪声很敏感，因为假边界框中一个小的扰动可能会极大地影响作业结果。该论文提出了一种新的方法，称为“Consistent-Teacher”，用于减少伪目标（pseudo-targets），这些伪目标是由于标签的不一致性而引入到训练中的错误对象。如下图所示，教师输出的微小变化导致伪框边界中的强噪声，导致在基于IoU的静态分配下，错误目标与附近对象相关联。在Mean-Teacher中，不一致的伪目标导致分类分支上的过拟合，而回归损失变得难以收敛。（右）伪标签和分配动态的快照。
【知识蒸馏】 Knowledge Distillation from A Stronger Teacher
AaaA00000001的博客
02-28 1752
近年来，视觉模型的精度凭借更高级的训练策略和模型结构取得了大幅度的提升，但更新颖的模型也给知识蒸馏的应用带来了许多挑战。当前大部分知识蒸馏方法仍然是在传统的基准训练策略和模型上进行研究和实验，而在精度更高的新颖模型和策略下的表现甚至低于不使用知识蒸馏。以往的工作大多将此归结为模型的容量差异（capacity gap）导致的蒸馏效果下降。本文将介绍来自商汤研究团队和悉尼大学等机构的研究人员提出的一种logits层面的知识蒸馏算法DIST。
KnowledgeDistillation:Knowledge distillation in text classification with pytorch. 知识蒸馏，中文文本分类，教师模型BERT、XLNET，学生模型biLSTM
05-04
知识蒸馏在文本方向上的应用 模型相关等内容在有具体介绍。 目录 更新日志 2020.08.28 整理代码结构，抛弃借鉴的Bert模型，增加xlnet模型，预训练xlnet模型效果较差，可以在模型基础上再进行预训练，因此添加了模型...
Teacher-free-Knowledge-Distillation:知识提炼
05-12
arxiv和CVPR2020中的论文有不同的标题：通过标签平滑正则化和重新访问知识蒸馏（CVPR）的无教师框架（arxiv）来重述知识蒸馏，我们将以正确的标题更新arxiv版本。 我们的工作表明：当神经网络过于强大而无法找到更...
【Knowledge Distillation from A Stronger Teacher】
afadgas的博客
05-24 446
Dist
Knowledge Distillation from A Stronger Teacher（NeurIPS 2022）论文解读
最新发布
00000cj的博客
12-14 1135
本文提出用皮尔森相关系数（Pearson correlation coefficient）作为一种新的匹配方法代替KL散度。 除了预测向量中的类间关系，由于不同实例相对每个类别有不同的相似性，本文还提出蒸馏类内关系，以进一步提高性能。 整合上面两点，本文提出了一种新的蒸馏方法，称为DIST，可以从更强的教师中得到更好的蒸馏效果。
CVPR2023 超高分论文 | Consistent-Teacher: 高效目标检测超强 SOTA!
专注计算机视觉全栈知识分享
04-22 2648
半监督学习SSL是一种利用少量有标签数据和大量无标签数据进行训练以提高模型性能的机器学习方法。在图像分类、目标检测等领域，SSL 已经被广泛应用。在目标检测领域，半监督目标检测SSOD能够有效利用大量无标注数据进行训练，具有重要的应用价值。SSOD 的基本模式是模式 [4][5][6][7]。该方法首先利用少量已标注数据对初始模型进行训练，同时使用教师模型对大量未标注数据进行推断，并将推断结果作为伪标签加入训练集。期望学生模型能够准确检测这些伪标签，并对增强后的输入样本做出一致的预测。
Consistent Teacher：一种简单有效的半监督目标检测器
weixin_51697828的博客
10-07 888
本文系统地研究了半监督目标检测中的三种不一致问题，即匹配不一致、分类-回归子任务不一致和时间不一致。为了缓解上述挑战，我们提出了一种简单有效的半监督目标检测器，称为Consistent-Teacher。我们引入了Consistentanchorassignment和FAM方法，使分类和回归任务保持一致。我们利用高斯混合模型(GMM)动态调整自训练阈值，以解决时间不一致的问题。Consistent-Teacher为一系列SSOD评估提供了新的强大基线。
Paper Reading:《Consistent-Teacher: 减少半监督目标检测中不一致的伪目标》
Transfattyacids的博客
10-20 1266
商汤、上海AI实验室、新加坡国立大学、北京大学作者研究方向主要是模型架构研究、半监督学习、目标检测共同一作个人主页：https://adamdad.github.io/其他作者摘要在本研究中，我们深入研究了半监督目标检测（SSOD）中伪目标的不一致性。我们的核心观察结果是，振荡的伪目标破坏了精确探测器的训练。它给学生的训练注入了噪音，导致了严重的过拟合问题。因此，我们提出了一个系统的解决方案，称为Consistent Teacher，以减少不一致性。首先，自适应锚分配（ASA）
Patient Knowledge Distillation for BERT Model Compression论文阅读
hxshine的博客
02-22 481
1. 学习总结 论文地址
knowledge distillation论文阅读之：Learning from a Lightweight Teacher for Efficient Knowledge Distillation
qq_42902997的博客
11-01 769
文章目录论文核心思路：1. 经典的 KD2. Teacher-free distillation（TF-KD）3. Lightweight knowledge distillation（LW-KD）3.1 生成 synthetic MNIST 合成数据集3.2 生成 soft target 软标签3.3 改进 KD loss function：enhanced LKDL_{KD}LKD​ + LGANL_{GAN}LGAN​3.3.1 enhanced LKDL_{KD}LKD​3.3.2 LGAN→LAD
计算机视觉论文-2021-06-10
中科院AI算法工程师的博客
06-10 1453
本专栏是计算机视觉方向论文收集积累，时间：2021年6月10日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:A Machine Learning Pipeline for Aiding School Identification from Child Trafficking Images AUTHORS: SUMIT MUKHERJEE ...
让ResNet-50精度高达82.8%！ViT原作者的知识蒸馏新作 | CVPR 2022 Oral
阿木寺的博客
05-14 2120
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：集智书童Knowledge distillation:A good teacher is patient and consistent论文：https://arxiv.org/abs/2106.05237在计算机视觉方面，实现最先进性能的大型模型与实际应用中简单的模型之间的差距越来越大。在本文中，...
revisiting knowledge distillation: an inheritance and exploration framework
12-02
这篇论文回顾了知识蒸馏的概念，并提出了一个继承和探索的框架。知识蒸馏是一种模型压缩的技术，它通过将复杂模型的知识传递给简化的模型来提高模型的性能和效率。在这篇论文中，作者们指出知识蒸馏不仅仅是一种模型压缩的方法，而且还可以作为一种知识传承的方式，帮助理解和解释模型的行为。 在继承和探索的框架中，作者们提出了一种新的知识蒸馏方法，旨在充分利用先前模型中蕴含的知识，使得模型的表现和训练效果更加优秀。该框架还将知识蒸馏与迁移学习和领域自适应等方法相结合，为模型的进一步性能提升提供了可能。 此外，论文还对知识蒸馏的未来发展进行了展望，指出这一框架可以进一步扩展到更广泛的领域，如自然语言处理、计算机视觉和强化学习等方面。这将为研究者们提供更多的可能性和挑战，推动知识蒸馏技术在实际应用中的深入发展。 总的来说，这篇论文通过提出继承和探索的框架，对知识蒸馏的概念进行了重新探讨，并为未来的研究和发展方向提供了新的思路和方法。它为知识蒸馏技术的应用和扩展打开了新的可能性，对学术界和工业界都具有重要意义。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

littletomatodonkey

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值