YOLO蒸馏原理篇之---MGD、CWD蒸馏

已于 2024-01-07 18:45:46 修改
阅读量1.6k 收藏 27
点赞数 25
分类专栏： yolov5/yolov8的量化部署 文章标签： MGD、CWD特征蒸馏
于 2024-01-07 17:48:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41920323/article/details/135441014
版权
本文介绍了两种特征蒸馏方法——MGD（Masked Generation Distillation）和CWD（Channel-wise Distillation），用于提高学生模型的表征能力。MGD通过掩蔽学生特征并使其恢复教师特征，而CWD关注通道级别的知识转移，通过softmax标准化特征图并计算KL散度。这两种方法在图像分类、目标检测等密集预测任务中展现出优势。
摘要由CSDN通过智能技术生成

一、MGD蒸馏

论文地址：https://arxiv.org/abs/2205.01529
论文翻译：https://mp.weixin.qq.com/s/FSvo3ns2maTpiTTWsE91kQ

1.1 摘要
知识蒸馏已成功应用于各种任务。当前的蒸馏算法通常通过模仿教师的输出来提高学生的表现。本文表明，教师还可以通过指导学生的特征恢复来提高学生的表征能力。从这个角度来看，我们提出了掩蔽生成蒸馏(MGD)：通过屏蔽学生特征的随机像素，并迫使它通过一个简单的块来生成教师的完整特征。
MGD是一种真正通用的基于特征的蒸馏方法，可用于各种任务，包括图像分类、目标检测、语义分割和实例分割。

1.2 论文要点
1）引入了一种新的基于特征的知识蒸馏方法，它使学生通过其掩码特征生成教师的特征，而不是直接模仿。
2）提出了一种新的基于特征的蒸馏方法——掩蔽生成蒸馏，它简单且易于使用，仅有两个超参数。
3）通过对不同数据集的大量实验来验证该方法在各种模型上的有效性。对于图像分类和密集预测任务，学生使用 MGD 取得了显着的改进。

1.3 主要内容
基于特征的蒸馏可以应用于分类和密集预测。对特征蒸馏的基本方法可以表述为：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ghx3110
关注
专栏目录
订阅专栏
YOLOv8的特征蒸馏代码应用讲解（CWD/MGD/mimic/在线蒸馏/逻辑蒸馏）
qq_41920323的博客
05-24 1019
基于YOLOv8的逻辑蒸馏、特征蒸馏、在线蒸馏等方法代码介绍。
【知识蒸馏】feature-based 知识蒸馏 - - CWD（channel-wise knowledge dissillation）
m0_51579041的博客
05-23 636
【知识蒸馏】feature-based 知识蒸馏 - - CWD（channel-wise knowledge dissillation）
mgd:匹配引导蒸馏（ECCV 2020）
05-01
匹配的指导蒸馏 | 此实现基于，该支持两种培训模式： （DP）和 （DDP）。 用于检测对象的MGD也作为外部项目在重新实现。 注意： T ：教师特征张量。 S ：学生特征张量。 dp ：蒸馏的距离函数。 Ci ：第i个频道。 BibTex @inproceedings{eccv20mgd, title={Matching Guided Distillation}, author={Yue, Kaiyu and Deng, Jiangfan and Zhou, Feng}, booktitle={ECCV}, year={2020} } 用于纸张的软件版本 Python-3.7 PyTorch-带Torchvision的1.5.0-0.6.0 Detectron2树 快速简便的开始 我们以使用ResNet-50提取ResNet-18为例，如下图所
yolov8蒸馏（附代码-免费）
最新发布
W_extend的博客
08-04 1486
yolov8_蒸馏使用不妨加个关注，后续还会加入Vit（vision transformer），替换loss等提升精度的方法。
[论文阅读]CWD——基于稠密预测的通道式知识蒸馏
热门推荐
qq_53909832的博客
09-15 1万+
CWD论文解读
【知识蒸馏】Channel-wise Knowledge Distillation for Dense Prediction
呆呆的猫的博客
09-15 7163
论文链接：https://arxiv.org/pdf/2011.13256.pdf 代码链接：https://github.com/irfanICMLL/TorchDistiller MMDetection：https://github.com/pppppM/mmdetection-distiller MMSegmentation：https://github.com/pppppM/mmsegmentation-distiller 一、背景 密集预测是计算机视觉的一个重要基础，如语义分割和目标检测，这些任.
MGD【知识蒸馏】【expand】
记录/交流，加油啊呀...
10-31 644
Masked Generative Distillation
yolov8知识蒸馏代码详解：支持logit和feature-based蒸馏
@bangbang的博客
12-27 4744
特别地，在COCO数据集上对MAP中的RetinaNet检测器(resnet50主干）获得了3.4%的性能提升，在Cityscapes数据集上, 针对mIoU指标，PSPNET(resnet-18 backbone）获得5.81%的性能提升。大部分的KD方法都是通过algin学生网络和教师网络的归一化的feature map, 最小化feature map上的激活值的差异。MGD是一种真正通用的基于特征feature的知识蒸馏方法，它可以用于各种任务，包括图像分类，目标检测，语义分割和实例分割。
YOLO 知识蒸馏学习及落地部署（v5和v8）
12-10
在YOLO v5和v8的场景中，我们可以利用不同的知识蒸馏方法，如CWD（Contrastive Weighted Distillation）、MGD（Multi-scale Guided Distillation）和Mimic异构蒸馏以及自蒸馏策略。 1. CWD（Contrastive Weighted ...
yolov8（目标检测、图像分割、关键点检测）知识蒸馏：logit和feature-based蒸馏方法的实现
weixin_51988935的博客
04-15 4222
支持yolov8检测、分割、关键点任务的知识蒸馏，并对蒸馏代码进行详解，比较容易上手。蒸馏方式多种，支持logit和feature-based蒸馏以及在线蒸馏。
Featured Based知识蒸馏及代码(1): Masked Generative Distillation (MGD)
@bangbang的博客
12-14 759
知识蒸馏已成功地应用于图像检测、分割、分类等任务。目前的蒸馏算法通常会通过模仿教师网络的输出以使学生特征具有更强的表征能力。我们认为提升学生的表征能力并不一定需要通过直接模仿教师实现。从这点出发，我们把模仿任务修改成了生成任务让学生凭借自己较弱的特征去生成教师较强的特征。在蒸馏过程中，我们对学生特征进行了随机 mask，强制学生仅用自己的部分特征去生成教师的所有特征，以提升学生的表征能力。MGD是一种真正通用的基于特征feature的知识蒸馏方法，它可以用于各种任务，包括图像分类目标检测。
mmdetection-distiller：这是基于mmdetection的知识蒸馏工具箱
03-03
毫米波检测器 该项目基于mmdetection（v-2.9.0），所有用法与相同，包括培训，测试等。 蒸馏器动物园 安装 设置新的conda环境： conda create -n distiller python=3.7 安装pytorch 安装mmdetection-distiller git clone https://github.com/pppppM/mmdetection-distiller.git cd mmdetection-distiller pip install -r requirements/build.txt pip install -v -e . 火车 #single GPU python tools/train.py configs/distillers/cwd/cwd_retina_rx101_64x4d_distill_retina_r50_fpn_2
ECCV 2022 | 清华&字节提出MGD：适用于分类/检测/分割的生成式知识蒸馏
阿木寺的博客
07-22 1371
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：美索不达米亚平原|已授权转载（源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/539496128本文介绍我们ECCV 2022关于知识蒸馏的工作: Masked Generative Distillation，方法适用于分类，检测与分割任务。现在代码已经开源，...
【论文笔记_知识蒸馏_2022】Masked Generative Distillation
qq_45128278的博客
05-30 1650
摘要 知识提炼已经成功地应用于各种任务。当前的蒸馏算法通常通过模仿老师的输出来提高学生的表现。本文表明，教师也可以通过指导学生的特征恢复来提高学生的表征能力。从这个角度出发，我们提出了掩蔽生成蒸馏(MGD)，它很简单:我们掩蔽学生特征的随机像素，通过一个简单的块，迫使它生成老师的全部特征。MGD是一种真正通用的基于特征的提取方法，可用于各种任务，包括图像分类、对象检测、语义分割和实例分割。我们用大量的数据集对不同的模型进行了实验，结果表明所有的学生都取得了很大的进步。值得注意的是，我们将ResNet-18.
掩码生成蒸馏——知识蒸馏
m0_47867638的博客
05-26 848
知识蒸馏已成功应用于各种任务。当前的蒸馏算法通常通过模仿教师的输出来提高学生的性能。本文表明，教师还可以通过指导学生的特征恢复来提高学生的表示能力。从这一观点出发，我们提出了掩码生成蒸馏（Masked Generative Distillation，MGD），该方法很简单：我们随机掩码学生的特征像素，并通过一个简单的块强迫其生成教师的完整特征。MGD是一种真正通用的基于特征的蒸馏方法，可用于各种任务，包括图像分类、目标检测、语义分割和实例分割。
Featured Based知识蒸馏及代码(2):Channel-wise Distillation (CWD)
@bangbang的博客
12-19 650
知识蒸馏用于训练紧凑型(轻量)模型被证明是一种简单、高效的方法，轻量的学生网络通过教师网络的知识迁移来实现监督学习。大部分的KD方法都是通过algin学生网络和教师网络的归一化的feature map, 最小化feature map上的激活值的差异。与以往的方法不同，本文提出了将每个通道的特征图归一化来得到软化的概率图。通过简单地最小化两个网络的通道概率图之间的散度，蒸馏过程更关注每个通道最显著的区域，这对于密集预测任务很有价值。本文对几个密集预测任务进行了实验，包括语义分割和目标检测。
【知识蒸馏】feature-based 知识蒸馏 - - MGD（mask generative dissillation）
m0_51579041的博客
05-22 631
【知识蒸馏】feature-based 知识蒸馏 - - MGD（mask generative dissillation）
论文解读：Masked Generative Distillation
weixin_50917576的博客
02-17 1640
我们提出了掩膜生成蒸馏(mask Generative Distillation, MGD)，它很简单:我们掩膜学生特征的随机像素，并通过一个简单的块强制其生成教师的完整特征。MGD是一种真正通用的基于特征的蒸馏方法，可用于各种任务，包括图像分类、目标检测、语义分割和实例分割。我们用大量的数据集对不同的模型进行了实验，结果表明所有的学生都取得了很好的进步。
论文研读--Masked Generative Distillation
jiangchao98的博客
07-24 1167
但当使用MGD蒸馏后，学生与教师差异很大，学生对于背景的响应大幅减小，对于目标的响应得到了增强，学生的最终表现也好于FGD蒸馏。之前的知识蒸馏方法着力于使学生去模仿更强的教师的特征，以使学生特征具有更强的表征能力。从这点出发，我们把模仿任务修改成了。在蒸馏过程中，我们对学生特征进行了随机mask，强制学生仅用自己的部分特征去生成教师的所有特征，以提升学生的表征能力。通常的做法，使得学生的特征去模仿教师的特征，使用KL散度或者MSE来对齐学生的特征以及教师的特征，但是学生模仿的效果必然差于教师模型。.....
yolo-pose 和 open-pose
04-04
yolo-pose和open-pose都是人体姿态估计的算法，但是它们有一些不同之处： 1. yolo-pose是基于YOLOv3的算法，使用单个网络同时进行人体检测和姿态估计。相比于open-pose，yolo-pose更快且更轻量级。 2. open-pose是基于卷积神经网络的算法，通过两个阶段的处理来实现人体姿态估计。open-pose的精度和准确性相比yolo-pose更高，但是需要更多的计算资源。 3. yolo-pose和open-pose都可以用于实时的人体姿态估计，但是yolo-pose适用于更轻量级的应用场景，而open-pose适用于更高要求的应用场景。 总之，yolo-pose和open-pose都是优秀的人体姿态估计算法，选择哪一个取决于具体应用场景的需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ghx3110

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值