知识蒸馏与反向知识蒸馏

已于 2025-03-24 10:54:08 修改
阅读量407 收藏 5
点赞数 4
文章标签： 人工智能
于 2025-03-24 10:53:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_58783626/article/details/146470245
版权

介绍一下这篇文章当时的创作灵感。

DiReDi: Distillation and Reverse Distillation for AIoT Applications

https://www.computer.org/csdl/journal/oj/2024/01/10766444/22ahPd7HBvO

知识蒸馏，说到底不就是老师教学生的过程吗？但问题是，老师教的内容和学生实际应用的环境可能不匹配，导致学生在真实世界中“掉链子”。

想象一下，一个学生在学校学了英语和德语，可当他来到瑞士日内瓦，发现这里的人都在说法语，他的语言模型瞬间“宕机”，推理出错。这就像知识蒸馏过程中，教师模型提供的训练数据与学生模型在真实应用中遇到的数据不一致，导致学生无法有效适应新环境。

作为一个热衷于“打报告”的前支书，我不禁思考：有没有办法让老师意识到自己教学中的偏差，从而调整教学内容，让学生更好地适应真实世界？直接上报新数据显然不行，既涉及隐私问题，也缺乏创新性，不够有趣。所以，我另辟蹊径，决定不上报数据，而是上报“知识的偏差”——也就是老师教的内容与学生真正需要的知识之间的差异。

为此，我安排了两个“校内辅导员”：

  • 第一位辅导员 模拟学生在真实环境中的实际表现，相当于记录学生学成后在日内瓦的真实反应。

  • 第二位辅导员 则模拟学生在该环境中“理想情况下”的表现，即如果掌握了真正需要的知识，他应该如何应对。

这两位辅导员通过逆向知识蒸馏实现。第一位辅导员用学生模型的输出来训练，错就是错，对就是对，忠实反映学生的现状。而第二位辅导员则基于学生本地的正确数据训练，来模拟“理想状态”。最终，这两个辅导员的模型参数之差，就代表了知识的偏差！把这个差异上传给“学校”，下一届学生在学习时就能得到更精准的指导。

但问题来了——我们发现学生在学习新知识时可能会遗忘旧知识。毕竟，逆向蒸馏依赖本地数据，而某些老师原本教授的知识可能因此被丢弃。例如，学生在瑞士待久了，可能完全忘记了英语。但如果英语还是个重要技能呢？

因此，我们在更新辅导员后，会检测他是否“忘记”了太多信息。如果关键知识仍然保留，就可以用这个更新后的辅导员来教新学生，确保他们在真实世界中游刃有余。

这就是 DiReDi 的核心思想：让知识蒸馏更符合真实应用环境，让学生（模型）能在任何地方都能“说得上话”！

https://www.computer.org/csdl/journal/oj/2024/01/10766444/22ahPd7HBvO

知识蒸馏 原理与代码实例讲解
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
08-09 291
1. 背景介绍 1.1 深度学习模型的困境 近年来，深度学习模型在各个领域取得了巨大的成功，例如图像识别、自然语言处理、语音识别等。然而，随着模型规模的不断增大，训练和部署这些模型所需的计算资源和时间成本也随之增加。这对于资源受限的设备，例如移动设备、嵌入式系统等，是一个巨大的挑战。
知识蒸馏在小样本学习中的作用
AI天才研究院
10-29 1127
知识蒸馏在小样本学习中的作用 关键词：知识蒸馏，小样本学习，深度神经网络，软标签，迁移学习，注意力机制 摘要：本文将详细探讨知识蒸馏技术在小样本学习中的重要作用。首先，我们将
Revisiting Knowledge Distillation via Label Smoothing Regularization
afadgas的博客
03-15 541
Revisiting Knowledge Distillation via Label Smoothing Regularization
【论文笔记】CVPR2022：Anomaly Detection via Reverse Distillation From One-Class Embedding
yjttjyyy的博客
08-27 2123
反向蒸馏由异构体系结构组成：一个教师编码器和一个学生解码器。其次，学生解码器不直接将原始数据同时提供给T-S模型这种设计有两个主要优点：i）非相似结构。可以将教师编码器视为下采样滤波器，将学生解码器视为上采样滤波器。“反向结构”避免了无法区分的滤波器引起的混淆。ii）紧凑嵌入。馈送到学生解码器的低维嵌入作为正常模式恢复的信息瓶颈层异常特征可以看作是正常模式上的扰动。紧凑的嵌入有助于防止这种不寻常的扰动传播到学生模型，并因此提高了T-S模型在异常上的表示差异。
Anomaly Detection via Reverse Distillation from One-Class Embedding
DYCAHGCDX的博客
11-01 1929
为了解决“大容量模型获得的高维描述符可能具有相当大的冗余，表示的高度自由和冗余不利于学生模型解码基本的无异常特征”的不足，引入一个可训练的一类嵌入块，将教师模型的高维表示投影到低维空间中；更高层次的特征层和更宽的感知域可以提高性能（如使用第二和第三层特征的异常检测AUROC达到了94.5%，而只使用第三层特征的性能达到了97.3%）；教师E中的下采样是通过一个内核大小1，步幅为2的卷积层实现的，学生D相应解码块采用内核大小为2，步长为2的反卷积层。学生解码器D的架构是对称的，与E相比是反向的，
知识蒸馏算法原理
热门推荐
charles_zhang_的博客
03-21 1万+
知识蒸馏算法原理 “蒸馏”的概念大概就是将本身不够纯净的水通过加热变成水蒸气，冷凝之后就成更纯净的水 知识蒸馏同样使用这种原理，将不太纯净的“知识”通过“蒸馏”的方式获得更加有用或者纯净的“知识” 体现在神经网络中如下图所示： 一个大而臃肿，但知识丰富且高效的“教师网络”，通过转换精准将特定领域的知识传授给“学生网络”，让“学生网络”在某个方面做得很好，并且不那么臃肿，类似“模型压缩” 为什么不直接使用教师网络？因为将算法应用在现实生活中很多设备的算力会被限制，因此需要尽可能.
《Anomaly Detection via Reverse Distillation from One-Class Embedding》论文阅读笔记
m0_46314815的博客
12-30 682
提出了一种新的异常检测的知识提取方法--逆向提取。该方法从整体上解决了以往基于KD的AD方法存在的问题，提高了T-S模型对异常的响应能力。此外，在逆向蒸馏中引入可训练的单类嵌入和多尺度特征融合模块，以提高单类知识转移的效率。实验结果表明，该方法在异常检测、异常定位和新奇检测等方面均优于已有技术。
大模型知识蒸馏技术（7）——知识蒸馏关键技术
最新发布
谷哥的小弟
03-01 2964
KL 散度损失用于衡量学生模型与教师模型软目标的分布差异。通过最小化 KL 散度，学生模型能够学习到教师模型的隐式知识，例如在自然语言处理任务中，学生模型可以学习到教师模型对不同语义的区分能力。实验表明，使用 KL 散度损失的学生模型在语义理解任务中的准确率比仅使用交叉熵损失的模型提高了约 20%，这表明 KL 散度损失在传递教师模型的深层知识方面具有显著优势。
知识蒸馏原理与代码实战案例讲解
AI天才研究院
05-25 603
1. 背景介绍 1.1 深度学习模型压缩的必要性 近年来，深度学习模型在各个领域都取得了显著的成就，但随之而来的是模型规模的不断膨胀。例如，自然语言处理领域的BERT模型参数量高达3.4亿，图像识别领域的ResNet-50模型参数量也超过了2500万。这些庞大的模型虽然性能强大，但也存在着一
大模型知识蒸馏技术（5）——在线蒸馏
谷哥的小弟
02-21 2676
在线蒸馏是一种知识蒸馏方式，其核心特点是教师模型和学生模型的参数在训练过程中同时更新，整个蒸馏框架是端到端训练的。这种方式允许教师模型和学生模型相互影响、共同学习，能够更高效地实现知识迁移，动态适应数据变化和任务需求。
omop-learn
03-26
内容学习 什么是omop学习？ 开发该库是为了使用来自OPOP CDM标准数据库的纵向医学数据，以Python快速构建预测性机器学习模型的原型。 omop-learn支持轻松定义预测性临床任务，使OMOP数据功能化以及相关性队列。 我们进一步提供了使用稀疏张量实现的方法，以可能的最原始形式快速操纵收集的特征，从而实现数据的动态转换。 该库包含两个机器学习模型。 首先，是一个窗口线性模型，该模型使用各种向后的窗口来汇总不同时间范围内的要素，然后将这些要素输入到正则逻辑回归模型中。 这个模型的灵感来自的工作 ，尽管它很简单，但通常与最新算法竞争。 我们还包括SARD（具有反向蒸馏功能的自我注意），这是一种新颖的深度学习算法，该算法使用自我注意来允许医疗事件使用患者时间线中的其他事件来实现自身的环境。 SARD还利用了逆向蒸馏技术，我们引入了一种训练技术，该技术可以使用高性能的线性代理有
知识蒸馏Knowledge Distillation原理与代码实例讲解
AI天才研究院
07-01 1374
知识蒸馏Knowledge Distillation原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM
探秘异常检测新星：重访反向蒸馏（Revisiting Reverse Distillation）
gitblog_01016的博客
08-30 1141
探秘异常检测新星：重访反向蒸馏（Revisiting Reverse Distillation） 项目地址:https://gitcode.com/gh_mirrors/re/Revisiting-Reverse-Distillation 在计算机视觉的深海中，异常检测犹如灯塔，指引着我们识别出数据海洋中的异常之浪。随着CVPR 2023的到来，一篇名为《重访反向蒸馏用于异常检测》的论文脱颖而出，...
异常检测 | Anomaly Detection via Reverse Distillation from One-Class Embedding |很不错的方法，可以用来找出特例！！！
5年+算法工程师，分享人工智能前沿技术，与自己的工程经验，欢迎订阅关注。
06-15 1623
本文提出了一种新的异常检测方法，名为“反向蒸馏”。该方法利用预训练的教师模型提取图像特征，并将其蒸馏到学生解码器中。学生解码器的目标是重建教师模型的多尺度特征，但由于学生模型只学习正常模式，因此无法重建异常特征，从而实现异常检测。主要贡献反向蒸馏框架： 教师模型为编码器，学生模型为解码器，打破传统蒸馏模型的结构限制，提高模型对异常的区分能力。一类别瓶颈嵌入模块： 将教师模型的高维特征压缩到低维空间，有效抑制异常特征的传播，增强异常检测效果。实验结果。
【Anomaly Detection论文阅读记录】Anomaly Detection via Reverse Distillation from One-Class Em ...(CVPR-2022)
大家一起进步叭
11-20 927
在反向蒸馏中，较小的模型（可以是学生模型）可能因为其简单性、抽象性或训练的特殊方式，学习到一些更具代表性或更具一般性的特征。在异常检测任务中，较小的模型可能通过学习一些低级别的异常特征，帮助大模型在高维空间中快速找到潜在的异常模式。教师E提取多尺度表示。在测试中，教师E提取的表示可以捕获异常特征。反向蒸馏是对传统蒸馏方法的一种变体，通常是指从一个较小的模型中提取知识或信息，并将其反向应用于一个较大的模型。这个过程试图通过从低复杂度的模型中获得一些新的特征或洞见，来增强更复杂模型的学习能力或性能。
知识蒸馏 | 模型压缩利器_良心总结
yuanCruise
05-03 3608
1.什么是知识蒸馏 最近利用知识蒸馏的方法，对业务中的性能有了可观的提升，因此在这里总结一波。本文主要从宏观的角度分析一下各个蒸馏算法的蒸馏方式，具体细节可以根据兴趣阅读论文~ 知识蒸馏是一种模型压缩常见方法，用于模型压缩指的是在teacher-student框架中，将复杂、学习能力强的网络学到的特征表示“知识蒸馏”出来，传递给参数量小、学习能力弱的网络。从而我们会得到一个速度快，能力强的网络，...
Meta最新成果：前所未有的加速Emu推理 | Imagine Flash：新型蒸馏框架发布
AIGCer的博客
05-10 909
随着去噪扩散模型（DMs）的出现，生成建模已经发生了一场范式转变。这些模型在各个领域树立了新的基准，提供了前所未有的逼真性和多样性，同时确保了稳定的训练。然而，去噪过程的顺序性质带来了显著挑战。（i）每步神经网络评估的延迟，以及（ii）去噪步骤的总数。大量的研究工作致力于加速抽样过程。对于文本到图像的合成，提出的方法涵盖了广泛的技术，包括高阶求解器、用于曲率降低的修改扩散公式，以及引导、步骤和一致性蒸馏。这些方法取得了令人印象深刻的改进，在接近10步的区间内达到了非常高的质量。
【论文笔记_自知识蒸馏_2021】Revisiting Knowledge Distillation via Label Smoothing Regularization
qq_45128278的博客
03-30 3899
摘要 知识提炼（KD）旨在将繁琐的教师模型中的知识提炼为轻量级的学生模型。它的成功通常归功于教师模型提供的关于类别之间相似性的特权信息，从这个意义上说，只有强大的教师模型被部署在实践中教较弱的学生。在这项工作中，我们通过以下实验观察来挑战这一共同信念：1）除了承认教师可以改善学生，学生还可以通过逆转KD程序显著提高教师；2） 一位训练有素的教师，其准确度比学生低得多，仍然可以显著提高后者。为了解释这些观察结果，我们对KD和标签平滑正则化之间的关系进行了理论分析。我们证明了1）KD是一种学习标签平滑正则化，.
深度学习知识蒸馏实践：ResNet50蒸馏ResNet18教程
知识蒸馏的目标是训练出一个性能更优的小模型，以便在资源受限的环境中使用，同时也能够保持与大型教师模型相当的性能。这种方法不仅可以减少模型的存储和计算需求，还能提高模型的泛化能力。 在本篇文章中，我们...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值