Knowledge Distillation and Student-Teacher Learning for Visual Intelligence

最新推荐文章于 2024-07-12 15:56:08 发布
最新推荐文章于 2024-07-12 15:56:08 发布
阅读量364 收藏
点赞数
分类专栏： Distilling Survey Paper 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/130994202
版权

本文是蒸馏学习综述系列的第四篇文章，Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New Outlooks的一个翻译。

视觉智能的知识蒸馏与学生-老师学习:回顾与新展望

摘要

1 引言

2 KD是什么？为什么要关注它？

3 KD的理论分析

4 基于教师数量的KD

4.1 从一个老师进行蒸馏

4.1.1 来自logits的知识

4.1.2 来自中间层的知识

4.2 从多个教师进行蒸馏

4.2.1 从logits集合中进行蒸馏

4.2.2 从特征集合中进行蒸馏

4.2.3 通过统一数据源进行蒸馏

4.2.4 从单教师到多个子教师

4.2.5 从异构的老师中定制学生

4.2.6 与同伴共同学习

5 基于数据格式的蒸馏

5.1 无数据蒸馏

5.1.1 基于元数据的蒸馏

5.1.2 基于类相似性的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
UnknownBody
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
一分钟带你认识深度学习中的知识蒸馏
华为云官方博客
09-23 8016
摘要：知识蒸馏（knowledge distillation）是模型压缩的一种常用的方法 一、知识蒸馏入门 1.1 概念介绍 知识蒸馏（knowledge distillation）是模型压缩的一种常用的方法，不同于模型压缩中的剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。最早是由Hinton在2015年首次提出并应用在分类任务上面，这个大模型我们称之为teacher（教师模型），小模型我们称之为Student（学生模型）
[论文翻译]Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New
weixin_44189610的博客
02-14 2126
作者简介： 发布期刊：TPAMI 作者单位：韩国科学技术院（KAIST） 作者1：Lin Wang（机械工程系博士生），研究兴趣包括底层视觉（图像超分辨率和去模糊）、基于事件相机的视觉、深度学习（GAN、知识迁移、对抗攻击、Few-shot learning）、VR/AR。 作者2：Kuk-Jin Yoon（机械工程系副教授），研究兴趣包括基于视觉的ADAS、立体视觉、三维重建、视觉目标跟踪、SLAM和SFM。 论文概要： 该论文是对于网络轻量化中的知识蒸馏的综述。系统的分析了只是蒸馏的研究现状，并 正文翻
多教师知识蒸馏综述-分类(Knowledge Distillation and Student-Teacher Learning for Visual Intelligence)
yuuka696的博客
12-06 2376
虽然在常见的S-T KD范式下已经取得了令人印象深刻的进展，即知识从一个大容量的教师网络转移到一个学生网络。在这种情况下，知识能力相当有限，为此，一些工作探索从多个老师或一群老师那里学习一个便携式学生。在实践中，学生不仅向一个老师学习，而是学习知识的概念，有来自同一任务或不同任务的指导。通过这种方式，学生可以合并和吸收来自多个教师网络的各种知识表示的插图，并构建一个全面的知识系统。因此，人们提出了许多新的KD方法。
知识蒸馏综述
xys430381_1的专栏
06-16 1174
参考： 知识蒸馏简述（一） 知识蒸馏简述（二） 知识蒸馏是什么？一份入门随笔 【经典简读】知识蒸馏(Knowledge Distillation) 经典之作（xys：关于温度T的讨论）
Knowledge Distillation & Student-Teacher Learning for Visual Intelligence: A Review & New Outlooks
qq_43812519的博客
06-08 871
论文地址：http://arxiv.org/abs/2004.05937 github地址：无 这是篇关于知识蒸馏的综述文章。知识蒸馏被认为是用于模型压缩的非常有效的一种方式。本文作者从模型压缩和知识迁移两个应用场景概述了近年来对知识蒸馏的研究。 Outlines 知识蒸馏的定义 由Hinton等人提出，表示较小规模的学生网络的训练过程由较大规模的教师网络的监督进行。其目标函数可表示为： 其中H为损失函数类型，y是真实标签，σ\sigmaσ是含有温控系数TTT的softmax函数，zs,ztz_s, z_
Knowledge distillation comprehensive survey
qq_45027419的博客
03-28 270
利用教师-学生体系结构的知识提炼的自然特性，知识提炼被用作解决对抗性攻击或深度模型的扰动的有效策略（Papernot等人，2016年;罗斯和多希-贝莱斯，2018年;Goldblum等人，2020年;Gil等人，2019）以及具体而言，敌对样本的扰动可以通过蒸馏由教师网络的稳健输出克服（Ross和Doshi-Velez，2018;Papernot等人，2016年）。当然，知识提炼还有其他特别有趣的应用，例如神经体系结构搜索（Macko等，2019年;
Teacher-free-Knowledge-Distillation:知识提炼
05-12
无师傅知识蒸馏 本文实施：通过标签平滑正则化重新审视知识， arxiv和CVPR2020中的论文有不同的标题：通过标签平滑正则化和重新访问知识蒸馏（CVPR）的无教师框架（arxiv）来重述知识蒸馏，我们将以正确的标题更新...
Augmenting Knowledge Distillation with Peer-to-Peer Mutual Learn
01-28
知识蒸馏（Knowledge Distillation, KD）是一种有效的模型压缩技术，它旨在将大型、复杂的教师网络的知识传授给小型、高效的 student 网络，使得 student 网络能够模仿教师网络的行为。这种方法使得在保持较高性能的...
awesome-knowledge-distillation:很棒的知识提炼
04-01
很棒的知识提炼 =============================== 文件 ，LK Hansen，P。Salamon，1990年 ，安德烈斯·克罗格（Andres Krogh），杰斯珀·韦德尔斯比（Jesper Vedelsby），1995年 ，A。Blum，T。...
Localization-Distillation-for-Dense-Object-Detection
02-05
知识蒸馏（Knowledge Distillation, KD）是一种有效的技术，它允许从大型、复杂的教师模型（Teacher Model）中提取知识，并将其传授给小型、高效的student模型（Student Model）。在目标检测中，以往的知识蒸馏方法...
Knowledge-Distillation-NLP:NLP中知识蒸馏的一些演示
05-31
知识蒸馏（a.k.a Teacher-Student Model)旨在利用一个小模型（Student）去学习一个大模型（Teacher）中的知识， 期望小模型尽量保持大模型的性能，来减小模型部署阶段的参数量，加速模型推理速度，降低计算资源使用...
知识蒸馏 综述 Knowledge Distillation: A Survey
doctor_strange****
04-26 9315
Knowledge Distillation: A Survey 本文译自Knowledge Distillation: A Survey，论文地址：https://arxiv.org/abs/2006.05525 （有翻译不周之处，敬请指正） 1. Introduction 深度学习取得了巨大进步，但是受限于庞大的计算量和参数量很难实际应用与资源受限设备上。 为了使深度模型更加高效，主要有以下两个方向的研究： 高效的网络模块构建：如MobileNets, ShuffeNets .
Knowledge Distillation(11)——teacher assistant
judgechen1997的博客
09-25 1136
motivation: 希望a teacher can effectively transfer its knowl- edge to students up to a certain size， 但有时gap太大，效果反而差， 正如mutual learning发现跟teacher学还不如和一个与自己目前水平相当（虽然网络结构差很多）的student学 所以助教的概念都出来了： teache...
Knowledge Distillation
zhangjf26的博客
08-07 5036
从模型压缩的角度调查了有关蒸馏相关的进展。与视觉应用型论文不同模型压缩的论文开源的比例并不多，相比较之下蒸馏相关工作算是开源比例大的。下面主要从是否开源或实现两方面按照发表时间列出相关论文和实现。并在有源码实现了论文中做了进一步相关方法的调查。 ##一、知识蒸馏相关论文和进展survey：（开源或有第三方实现） 2014-NIPS-Do Deep Nets Really Need to be...
AGI 之 【Hugging Face】 的【问答系统】的 [构建问答系统] / [ 构建基于评论的问答系统 ] 的简单整理
仙魁XAN
07-12 800
AGI，即通用人工智能（Artificial General Intelligence），是一种具备人类智能水平的人工智能系统。它不仅能够执行特定的任务，而且能够理解、学习和应用知识于广泛的问题解决中，具有较高的自主性和适应性。AGI的能力包括但不限于自我学习、自我改进、自我调整，并能在没有人为干预的情况下解决各种复杂问题。AGI能做的事情非常广泛：跨领域任务执行：AGI能够处理多领域的任务，不受限于特定应用场景。自主学习与适应：AGI能够从经验中学习，并适应新环境和新情境。
聊聊如何在内网下构建大模型微调环境
python1234567_的博客
07-12 804
LlamaFactory新版更新后，还是比较方便，只是说llamafactory-cli命令的确是有点蒙，踩个坑就好了。对于LlamaFactory微调来说，本身不难，毕竟都是配置；主要是在内网环境下的依赖包拉取安装是真麻烦，但其实也还好。走一遍的话，还是可以学到很多的。​。
阿里发布大模型发布图结构长文本处理智能体，超越GPT-4-128k
夕小瑶科技说
07-09 900
随着大语言模型的发展，处理长文本的能力成为了一个重要挑战。虽然有许多方法试图解决这个问题，但都存在不同程度的局限性。最近，阿里巴巴的研究团队提出了一个名为GraphReader的新方法，通过将长文本组织成图结构，并利用智能体来探索这个图，成功提升了模型处理长文本的能力。GraphReader的核心思想是将长文本分解成关键元素和原子事实，构建成一个图，然后让智能体在这个图中探索和推理。这种方法不仅能有效处理超长文本，还在多跳问答等复杂任务上取得了优异表现。
CV06_Canny边缘检测算法和python实现
https://github.com/foxpup11?tab=repositories
07-11 838
https://www.bilibili.com/video/BV1qU4y1U7aK/?spm_id_from=333.337.search-card.all.click&vd_source=7dace3632125a1ef7fd32c285eb2fbac
人力资源人工智能依赖于良好的数据
最新发布
yongyoudayee的博客
07-12 728
人力资源不断发展(HR)人工智能在技术领域(AI)它已经成为改变游戏规则的力量。人工智能驱动的工具有望简化人力资源流程，提高管理能力，彻底改变员工体验。然而，这些人工智能解决方案的有效性仅取决于算法的复杂性或计算硬件的能力。事实上，这种模式的很大一部分取决于一个基本的——良好的数据。
focal and global knowledge distillation for detectors
03-16
Focal和全局知识蒸馏是用于检测器的技术。在这种技术中，一个更大的模型（称为教师模型）被训练来识别图像中的对象。然后，该模型的知识被传递给一个较小的模型（称为学生模型），以便学生模型可以在更少的计算资源下实现类似的准确性。Focal知识蒸馏侧重于教师模型中的重点区域，而全局知识蒸馏则侧重于整个图像。这些技术可以提高检测器的性能，并减少计算成本。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值