【知识蒸馏简介】

最新推荐文章于 2024-08-05 12:00:00 发布
最新推荐文章于 2024-08-05 12:00:00 发布
阅读量275 收藏
点赞数
分类专栏： 个人学习 文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43877335/article/details/124206445
版权
本文介绍了知识蒸馏和领域泛化的概念及其在迁移学习中的应用。知识蒸馏通过将大型教师网络的软标签传递给小型学生网络，实现模型压缩。领域泛化则致力于将不同领域的特征映射到统一空间。两种技术都涉及损失函数的计算，包括学生网络的蒸馏损失和学生损失。最终目标是提高模型在新领域数据上的泛化能力。
摘要由CSDN通过智能技术生成

        知识蒸馏与领域泛化都可以用在迁移学习上，领域泛化主要是对不同领域数据的特征映射到同一空间，知识蒸馏是将一个训练好的大的模型压缩成小的模型。已经训练好的大的模型叫做教师网络，知识蒸馏是将教师网络压缩成学生网络。

        将教师网络的输出按式(1.4)进行计算，输出的soft label作为学生网络的label，学生网络的输出也按式(1.4)进行输出为soft prediction。学生网络的loss是蒸馏损失和学生损失的加权和，蒸馏损失是学生网络的输出soft prediction和教师网络的输出soft label的loss，学生损失是学生网络的hard prediction和数据的hard label的loss。

 参考：

  1. Knowledge Distillation - Neural Network Distiller

S L N
关注
专栏目录
Transformer大模型实战 知识蒸馏简介
AI架构设计之禅
06-15 664
近年来，随着深度学习的发展，Transformer 架构在自然语言处理、计算机视觉等领域取得了巨大的成功。然而，Transformer 模型的参数量较大，计算成本高，限制了其在实际应用中的部署和使用。为了解决这个问题，知识蒸馏（Knowledge Distillation）技术被提出。知识蒸馏是一种将大型、复杂的模型压缩为较小、更高效的模型的方法，同时保持其性能。在本文中，我们将介绍 Transformer 大模型的知识蒸馏技术，并通过实际案例展示其在图像分类任务中的应用。
Bert基础(十二)--Bert变体之知识蒸馏原理解读
Andy_shenzl的博客
04-03 855
知识蒸馏(knowledge distillation)是一种模型压缩技术，它是指训练一个小模型来重现大型预训练模型的行为。知识蒸馏也被称为师生学习，其中大型预训练模型是教师，小模型是学生。让我们通过一个例子来了解知识蒸馏是如何实现的。假设预先训练了一个大模型来预测句子中的下一个单词。我们将大型预训练模型称为教师网络。我们输入一个句子，让网络预测句子中的下一个单词。它将返回词表中所有单词是下一个单词的概率分布，如图所示。为了更好地理解，我们假设词表中只有5个单词。
【模型压缩】（四）——知识蒸馏
weixin_40620310的博客
04-07 2523
一、概述 一句话概括：将一个复杂模型的预测能力转移到一个较小的网络上； （复杂模型称为教师模型，较小模型称为学生模型） Teacher and Student的概念： 对大网络学习的知识进行"蒸馏"，并将其转移到小网络上，同时小网络的性能能够接近大网络； 蒸馏模型（Student）被训练模仿大网络（Teacher）的输出，而不仅仅是直接在原始数据上训练，通过这种方式让小网络学习到大网络的抽象特征能力和泛化能力； 二、流程详解 方法一 简单流程如下： 1、数据集上训练一个teacher网络； 2、训练
【知识蒸馏】透彻理解soft target、hard target
学到一寸是一寸的博客
10-29 3349
透彻理解知识蒸馏中的soft target
【领域泛化论文阅读】Embracing the Dark Knowledge: Domain Generalization Using RegularizedKnowledgeDistillation
weixin_43877335的博客
06-23 398
这篇论文从任务的难度来解决领域泛化问题，论文认为如果模型的学习任务太难的话，容易发生过拟合，学习到的特征是域特有的特征而不是域不变特征，这样很难学习到泛化的特征。因此论文假设简单的任务可以提高目标域的泛化性能。论文提出了对于域泛化的知识蒸馏(KDDG)，在知识蒸馏框架基础上使用梯度滤波器作为正则化项，提高模型泛化能力。 采用知识蒸馏模型，可以让学生网络学习更少的领域特定特征，达到更好泛化能力。教师网络给学生网络提供soft label，含有更多的信息量，可以让学生网络学习的任务更简单，可以学习
深度学习笔记（52） 知识蒸馏
热门推荐
氢键H-H
11-06 1万+
梳理知识蒸馏的基本思想和代码实现
知识蒸馏学习记录
pengxiang1998的博客
06-24 598
最近在学习降噪处理不良天气的算法过程中，接触到了知识蒸馏，该算法作为一个深度学习通用算法，不仅广泛应用在自然语言处理方面，在计算机视觉等领域也广受追捧。
几个知识蒸馏相关的BERT变体
日积月累，天道酬勤
04-13 1403
BERT关于知识蒸馏的几种变体。
深度强化学习-马尔科夫决策过程和表格型方法-笔记（二）
wield_jjz的博客
10-23 2028
马尔科夫决策过程 马尔科夫过程 Markov Process(MP) （1）马尔科夫性质 （2）马尔科夫过程/马尔科夫链 （3）马尔科夫奖励过程 Markov Reward Process(MRP) horizon：同一个episode或者是整个一个轨迹的长度，它是由有限个步数决定的。 return：Return 说的是我们把奖励进行折扣，然后获得的这个收益。Return 可以定义为奖励的逐步叠加，然后这里有一个叠加系数，就是越往后得到的奖励，折扣得越多。这说明我们其实更希望得到现有的奖励，未来的
YOLOv8 模型蒸馏：利用知识蒸馏提升 YOLOv8 性能
走向CTO的路上...
07-23 913
YOLOv8 作为目前最先进的目标检测算法之一，在性能和精度方面都取得了显著进步。然而，YOLOv8 模型的计算量仍然较大，在一些资源受限的场景下部署可能存在困难。为了解决这一问题，本文介绍了利用模型蒸馏改进 YOLOv8 的方法，该方法可以有效提升模型的精度，同时降低模型的训练成本和计算资源需求。# 定义学生模型# 定义教师模型利用模型蒸馏可以有效提升 YOLOv8 模型的精度，同时降低模型的训练成本和计算资源需求，这对于在移动端、嵌入式设备等资源受限的场景部署 YOLOv8 模型具有重要意义。
YOLOv8改进 | 知识蒸馏 | 利用MimicLoss蒸馏提升YOLOv8精度
最新发布
走向CTO的路上...
08-05 469
YOLOv8作为目前最先进的目标检测算法之一，在性能和精度方面都取得了显著进步。然而，训练YOLOv8模型需要大量数据和计算资源，且模型参数量较大，部署于移动端或嵌入式设备时会遇到性能瓶颈。为了解决这些问题，本文提出了一种利用知识蒸馏技术改进YOLOv8模型的方法，以提升模型精度和轻量化。
YOLOv8改进 | 知识蒸馏 | 利用MGDLoss蒸馏提升YOLOv8精度
走向CTO的路上...
07-31 977
YOLOv8作为目前最先进的目标检测算法之一，在性能和精度方面都取得了显著进步。然而，训练YOLOv8模型需要大量数据和计算资源，且模型参数量较大，部署于移动端或嵌入式设备时会遇到性能瓶颈。为了解决这些问题，本文提出了一种利用知识蒸馏技术改进YOLOv8模型的方法，以提升模型精度和轻量化。
（八）学习笔记：动手深度学习（Softmax 回归 + 损失函数 + 图片分类数据集）
小刘的博客
01-24 2098
目录
深度学习-知识蒸馏
jackson_j的博客
03-05 1047
第一章 综述 知识蒸馏的目的是将大模型变成小模型，将小模型部署到移动终端设备上。 1.轻量化网络 2.知识的表示与迁移 hard targets和soft targets： 显然， soft targets包含更多的“知识”和“信息”， 像谁， 不像谁， 有多像，有多不像， 特别是非正确类别概率的相对大小（驴和车）。 3.蒸馏温度T 把比较硬的soft targets变得更软，信息暴漏的更明显 例如： 第二章 知识蒸馏 1.过程 教师网络进行预训练，生成soft labels，学生网络可能训练，
联邦学习——基于知识蒸馏的多源域适应
联邦学习小白
07-25 3176
《KD3A: Unsupervised Multi-Source Decentralized Domain Adaptation via Knowledge Distillation》是一篇被ICML 2021接收的论文，论文作者来自浙江大学CAD&CG国家重点实验室。这篇文章提出一个对来自多个源域的模型进行知识蒸馏来构建可迁移的共识知识，并可应用于联邦学习的无监督多源域适应方法。 简介 传统的无监督多源域适应UMDA（Unsupervised Multi-source Domain Adaptat
Improving Neural Machine Translation with Soft Template Prediction(ACL 2020)
hyacinthhome的博客
01-19 224
notion:https://www.notion.so/Improving-Neural-Machine-Translation-with-Soft-Template-Prediction-ACL-2020-a6a1cd8edddd4b5c80cfd21310b5950f
论文阅读|DeiT
weixin_45782047的博客
02-17 2631
Transformer系列论文阅读|DeiT
论文笔记：蒸馏网络（Distilling the Knowledge in Neural Network）
weixin_30274627的博客
06-11 876
Distilling the Knowledge in Neural Network Geoffrey Hinton, Oriol Vinyals, Jeff Dean preprint arXiv:1503.02531, 2015 NIPS 2014 Deep Learning Workshop 简单总结 主要工作（What） “蒸馏”（distillation）：把大网络的知识压缩成小网络的...
KD知识蒸馏实战案例解析与实践
资源摘要信息:"知识蒸馏（Knowledge Distillation，简称KD）是一种模型压缩技术，它旨在将一个大型、复杂的神经网络（通常是教师网络）的知识传递给一个更小、更简单的神经网络（通常是学生网络），而不会显著损失...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值