自我知识蒸馏学习论文总结

最新推荐文章于 2024-06-14 13:40:32 发布
最新推荐文章于 2024-06-14 13:40:32 发布
阅读量1.7k 收藏 10
点赞数 2
分类专栏： 深度学习 随笔 # 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42718887/article/details/113832402
版权
深度学习 同时被 3 个专栏收录
38 篇文章 8 订阅
订阅专栏
论文阅读
24 篇文章 4 订阅
订阅专栏
随笔
21 篇文章 0 订阅
订阅专栏

自我知识蒸馏学习论文总结

 博主看了几篇有关自我知识蒸馏的论文，大致将self-distillation划分为两类：第一类就是从时间的前后进行蒸馏，即前面几个epochs的模型去蒸馏后面几个epochs的模型；第二类就与Deep Supervision类似，即深层的part去蒸馏浅层的part。针对这两大类，博主各写了一篇原论文的阅读笔记，整合在这里方便阅读和查找，也欢迎大家一起探讨。

第一类，Self-Knowledge Distillation: A Simple Way for Better Generalization论文阅读

第二类，Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation论文阅读

PyBigStar
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
知识蒸馏论文整理与总结与代码实现
MyHeartWillGoOn
04-06 1183
知识蒸馏 文章目录知识蒸馏题目题记章节一 《论文选读》章节二《自我思考》章节三《bert模型》背景模型对比详细分解BERTInputs 题目 知识蒸馏 题记 写这篇的目的是为了改进自己的bert训练出来的模型，对于QA这种需要实时响应的应用，非常考验一个模型带给用户的体验感，所以我觉得自己需要深入探索一下知识蒸馏这个领域。 本部分将会分为几个章节来完成，希望我能最后成功地把模型蒸馏出来 章节一 《论文选读》 这两天我大概读了三篇论文，由于一开始不太懂这个领域，所以先去B站上看看其他人的视频，这里推荐同济子豪
知识蒸馏论文的一些自己总结
a362682954的博客
03-27 467
本文只是对论文的一些总结，不关注于具体细节公式，主要是了解思想，如果有空我会专门的开博客对一些论文进行细节讲述，如果本文说明有问题的，欢迎联系我，欢迎指正。 一. Attention Transfer Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks vi...
Teacher-free-Knowledge-Distillation:知识提炼
05-12
无师傅知识蒸馏 本文实施：通过标签平滑正则化重新审视知识， arxiv和CVPR2020中的论文有不同的标题：通过标签平滑正则化和重新访问知识蒸馏（CVPR）的无教师框架（arxiv）来重述知识蒸馏，我们将以正确的标题更新arxiv版本。 我们的工作表明：当神经网络过于强大而无法找到更强大的教师模型，或者计算资源仅限于训练教师模型时，可以应用“自我训练”或“手动设计的正则化”。 例如，ResNeXt101-32x8d是一个功能强大的模型，在ImageNet上具有88.79M参数和16.51G FLOP，为该学生训练更强大的教师模型非常困难或计算昂贵。 我们的策略可以将这种强大的学生模型进一步提高0.48％，而无需在ImageNet上进行额外的计算。 同样，当将具有34.53M参数的功能强大的单一模型ResNeXt29-8x64d作为学生模型时，我们的自训练实现在CIFAR100上实现
知识蒸馏研究趋势展望
s_l_w_的博客
11-02 341
对知识蒸馏研究趋势的展望。
暴力检测-Modality-Aware Contrastive Instance Learning with Self-Distillation for Weakly-Supervised Audio
L1783516140的博客
06-07 944
弱监督的视听暴力检测旨在通过视频级别标签区分包含多模态暴力事件的片段。许多先前的研究以早期或中期的方式进行视听整合和交互，但忽视了弱监督环境下的模态异质性。本文分析了多实例学习(MIL)过程的模态异步和无关实例现象，并进一步探讨了其对弱监督视听学习的负面影响。为了解决这些问题，我们提出了一种模式感知的自蒸馏对比实例学习(MACIL-SD)策略。具体来说，我们利用轻量级的双流网络来生成音频和视觉包，其中单峰背景，暴力和正常实例以无监督的方式聚类到半包中。
知识蒸馏学习
akaweige的博客
07-03 4695
大模型在部署到资源有限的设备上（手机、嵌入式设备等）会遇到体积和速度问题，知识蒸馏作为有代表性的模型压缩和加速的技术之一（其他还有：参数裁剪和共享、低秩分解和Transferred compact convolutional filters等），近年来受到了学术界和工业界的广泛关注。为了在资源有限的设备上部署深度模型，Bucilua 等人在2006年首次提出了模型压缩技术来迁移大模型或集成模型里的信息去训练小模型而精度不会有显著的下降。
检测知识蒸馏
weixin_41803339的博客
10-23 613
0、序言 常用的模型优化方法分为基于结构设计和非结构设计两种方法，结构设计类的包括mobilenet、ghostnet、peleenet、efficientnet、shufflenet、vovnet等等都充分考虑了计算效率和资源，专为边缘计算设备和移动端设备而生。除此之外的非机构设计的优化方法有知识蒸馏、模型量化和模型减枝，其中知识蒸馏的方法最为简单有效，已经被广泛应用到分类任务，但检测的知识蒸馏方法却很少，这里介绍一种基于特征响应的检测知识蒸馏方法。 1、论文 论文题目： 《IMPROVE OBJECT
深度学习 模型压缩之知识蒸馏
Fantastic
10-19 2454
知识蒸馏知识蒸馏模型训练相关论文参考 知识蒸馏 模型训练 相关论文 参考 知识蒸馏：如何用一个神经网络训练另一个神经网络 深度学习三大谜团：集成、知识蒸馏和自蒸馏 知识蒸馏(Knowledge Distillation) 经典之作 知识蒸馏（Knowledge Distilling），让你的模型轻装上阵 Distilling Knowledge in Neural Networks ...
CVPR2024知识蒸馏Distillation论文49篇速通
最新发布
weixin_44287798的博客
06-14 1012
CVPR2024知识蒸馏论文专区速览49篇
【学习总结+论文复现】知识蒸馏Knowledge Distillation学习一条龙（完结）
qq_739988982的博客
05-06 3897
本文章以2020年《Contrastive Representation Distillation》的知识蒸馏技术为学习基础来学习知识蒸馏技术。此外还涉及了最新的知识蒸馏方法。例如，DKD，KD++，Review KD，多出口网络+集成学习KD，DisWOT，MSFF，CMKD，CTKD，MGD，PEFD，SimKD，Logits标准化KD，SDD。
yolov8 知识蒸馏源码
12-18
1. 本项目支持多种蒸馏方式，并对蒸馏代码进行详解，比较容易上手。支持 logit和 feature-based蒸馏以及在线蒸馏： (1)在线蒸馏 (2)logit 蒸馏 (3)mimic 特征蒸馏 (4)cwd: channel-wise distillation 特征蒸馏 (5)...
人工智能-项目实践-知识蒸馏-Code for paper 基于知识蒸馏的目标检测模型增量深度学习方法.zip
12-26
人工智能-项目实践-知识蒸馏-Code for paper 基于知识蒸馏的目标检测模型增量深度学习方法 随着万物互联时代的到来，具备目标检测能力的物联网设备数量呈爆炸式增长。基于此，网络边缘产生了海量的实时数据，具有低...
知识蒸馏论文读书笔记
01-06
在2015年hinton 的知识蒸馏文章发表出来之前，就有人尝试过让一个小模型去学习一个大模型的表现，以期能够达到与大模型等同的性能。 这篇文章的标题就叫“Model Comperssion”，是2006年的文章，大家都还在用CPU训练...
YOLO 知识蒸馏学习及落地部署（v5和v8）
12-10
4. 自蒸馏：这是一种自我学习的方法，其中模型既是教师也是学生。模型首先在大量数据上训练，然后以其训练后的状态作为教师模型，指导其自身的进一步优化。这样可以持续改进模型的性能，同时保持模型的紧凑性。 在...
最新《知识蒸馏》2020综述论文（来自悉尼大学）
06-14
近年来，深度神经网络在工业和学术界取得了巨大的成功，特别是在视觉识别和神经语言处理方面的应用。深度学习的巨大成功，主要归功于其巨大的可扩展性，既有大规模的数据样本，也有数十亿的模型参数。
【知识蒸馏】知识蒸馏（Knowledge Distillation）技术详解
热门推荐
Roaddd的博客
02-24 1万+
知识蒸馏综述
ChatGPT为什么会一本正经胡说八道？我们如何改进它？| 文内附有代码
PyBigStar的博客
02-27 1万+
众所周知，在OpenAI平台上的ChatGPT模型目前有两大痛点：1. 它所学习的数据资料都是截止到2021年为止的，因此无法给出2022年之后的发生的事情。2. 有些时候会出现一些常识性的错误，也就是它会一本正经的胡说八道，比如问它一些历史、数学问题，它可能就会回答出。究其原因，主要是ChatGPT是“生成式回复”。它事先学习了大量的人类的知识以及人类对它的引导和奖励的策略。它本质上依托于一个参数量巨大的神经网络模型，其训练过程是基于它的语料库进行的，而ChatGPT。
Expected Calibration Error (ECE)模型校准原理解析
PyBigStar的博客
02-05 1万+
 对于高风险应用来说，机器学习模型对其预测的置信度是至关重要的。``model calibration（模型校准）``就是要让模型结果预测概率和真实的经验概率保持一致。模型校准这个话题比较小众，博主也是在看一篇Self-KD的论文时才看到的。模型校准的metrics有很多，这里博主仅仅讨论``Expected Calibration Error (ECE)``这一个比较经典的模型校准metric。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值