如何用大模型蒸馏一个yolo模型？（一）

已于 2023-10-30 15:38:53 修改
阅读量222 收藏 3
点赞数
分类专栏： 蒸馏算法系列 文章标签： YOLO 深度学习 人工智能
于 2023-10-30 15:38:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39760867/article/details/134120172
版权
1.目前，使用大模型蒸馏yolo的论文有以下几个：

1. "YOLO9000: Better, Faster, Stronger" by Joseph Redmon and Ali Farhadi.

这篇论文介绍了YOLOv2模型，并提出了使用知识蒸馏的方法来进一步提升模型的性能。

2. "Knowledge Distillation for Object Detection with One-Stage Detectors" by Xingxing Wei, Xinyu Zhang, Xiangyu Zhang, Jian Sun.

这篇论文针对一阶段目标检测器，如YOLO，提出了一种基于知识蒸馏的方法来提高模型的性能。

3. "Knowledge Distillation for Small Object Detection" by Xingxing Wei, Xinyu Zhang, Fuyong Xing, Mingxing Tan, Jian Sun.

这篇论文进一步研究了使用知识蒸馏来改善小目标检测的问题，并提出了一种适用于小目标检测的知识蒸馏方法。

2.github开源项目

github上的开源项目只搜到了一个相关的，是基于论文的一个实现。

论文地址​​​​​​https://openaccess.thecvf.com/content_CVPR_2019/papers/Wang_Distilling_Object_Detectors_With_Fine-Grained_Feature_Imitation_CVPR_2019_paper.pdf

作者的博客：

yolov5使用知识蒸馏_yolov5 知识蒸馏_目标检测小白的博客-CSDN博客

https://github.com/xing-bing/yolov5-distilling#author-xingbing

等待详细整理

hi小蜗
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
YOLOv8蒸馏 | 知识蒸馏 | 利用模型蒸馏改进YOLOv8进行无损涨点 | 在线蒸馏 （附代码 + 完整文件 + 解析教程）
Snu77的博客
04-17 5138
知识蒸馏的主要方法可以分为三种：基于响应的知识蒸馏（利用教师模型的输出或对最终预测的模仿）、基于特征的知识蒸馏（使用教师模型中间层的特征表示）以及基于关系的知识蒸馏（利用模型内部不同层或不同数据点之间的关系）。每种方法都旨在从大模型中提取有效信息，并通过特定的损失函数将这些信息灌输给学生模型​。知识蒸馏是一个多样化的领域，包括各种不同的方法来优化深度学习模型的性能和大小。
yolov8 知识蒸馏源码
12-18
1. 本项目支持多种蒸馏方式，并对蒸馏代码进行详解，比较容易上手。支持 logit和 feature-based蒸馏以及在线蒸馏： (1)在线蒸馏 (2)logit 蒸馏 (3)mimic 特征蒸馏 (4)cwd: channel-wise distillation 特征蒸馏 (5)...
YOLOv5知识蒸馏实战篇
m0_58846303的博客
12-10 2021
YOLOv5知识蒸馏实战
【机器学习】基于YOLOv10实现你的第一个视觉AI大模型
最新发布
月流霜的专栏
06-20 162
YOLO本文​​​​首先介绍视觉模型在人工智能领域的位置，其次对原理概念初步进行说明，之后对推理与训练过程进行详细阐述，最后通过一个实战例子，用极少的代码行数将笔记本电脑的摄像头改装为实时视频监控，目标是让读者通过读完此文，快速上手YOLOv10技术进行物体目标检测，从应用角度讲，YOLO非常贴合实际应用，很多人基于YOLO创业并产生收益，比如智能驾驶、安全监控、医疗检测等从研究角度讲，YOLO供发布10个版本，围绕效果和速度进行了频繁的迭代与优化，知识体系非常深入。
yolov8（目标检测、图像分割、关键点检测）知识蒸馏：logit和feature-based蒸馏方法的实现
weixin_51988935的博客
04-15 3676
支持yolov8检测、分割、关键点任务的知识蒸馏，并对蒸馏代码进行详解，比较容易上手。蒸馏方式多种，支持logit和feature-based蒸馏以及在线蒸馏。
如何把大模型和小模型相结合？这几种策略可以实现！（附相关论文）
2401_82426425的博客
01-17 4256
简述：本文提出通过将模型集合中的知识提炼到单个模型中，可以显著改进大量使用的商业系统的声学模型，并引入了一种由一个或多个完整模型和许多专业模型组成的新型集成，这些模型学习区分完整模型混淆的细粒度类别。这就是大模型小模型相结合的几种策略，结合大模型和小模型的目的是要在资源消耗和模型性能之间寻找一个平衡点，大模型提供了丰富的信息和先进的特征表示，而小模型则使得模型部署在资源有限的环境中成为可能。使用教师模型的输出来训练学生模型，不是简单地使用标签信息，而是使学生模型的输出尽可能接近教师模型的输出。
知识蒸馏 Knowledge Distillation（在tinybert的应用）
vivi_cin的博客
12-25 444
蒸馏（Knowledge Distillation）是一种模型压缩技术，通常用于将大型模型的知识转移给小型模型，以便在保持性能的同时减小模型的体积和计算开销。这个过程涉及到使用一个大型、复杂的模型（通常称为教师模型）生成的软标签（概率分布），来训练一个小型模型（通常称为学生模型）。具体而言，对于分类问题，教师模型生成的概率分布可以看作是对每个类别的软标签，而学生模型通过学习这些软标签来进行训练。这种方式相比直接使用硬标签（即真实的标签）进行训练，通常能够提供更多的信息，帮助学生模型更好地捕捉数据的细节。
模型训练篇 | yolov10来了！手把手教你如何用yolov10训练自己的数据集（含网络结构 + 模型训练 + 模型推理等）
突然好想你
06-04 1万+
YOLOv10推出的消息引发了AI界的关注，它被认为是计算机视觉领域的突破性框架，以实时的端到端目标检测能力而闻名，通过提供结合效率和准确性的强大解决方案，延续了YOLO系列的传统。新版本发布之后，很多人已经进行了部署测试，效果不错，本节课就带领大家如何基于YOLOv10训练模型并推理测试！~🌈
YOLO 知识蒸馏学习及落地部署（v5和v8）
12-10
在实际部署时，经过知识蒸馏的YOLO模型可以实现更快的推理速度，同时保持相对高的检测精度。这对于资源有限的设备（如嵌入式系统或移动设备）来说尤为重要，它们往往无法承受大型模型的计算负担。 总之，YOLO v5和...
AI大语言模型架构图.zip
08-01
本文件"AI大语言模型架构图.zip"似乎包含了一个名为"big-language-model-master"的项目源码或文档，可能详细描绘了大语言模型的构建过程和内部架构。 大语言模型通常基于深度学习技术，尤其是神经网络，特别是...
深度学习实践-模型部署优化实践
07-30
`yolo_deploy.py`可能是用于加载和运行YOLO模型的脚本，可能包含了模型的加载、图像预处理、目标检测和后处理逻辑。 `best.pt`是PyTorch模型的权重文件，通常是在训练过程中的最佳模型保存下来的，代表模型在验证集...
Pruned-YOLO:使用模型修剪方法获得基于YOLOv5的紧凑模型Pruned-YOLOv5
03-25
修剪YOLO 使用模型修剪方法获得紧凑模型，即基于YOLOv5的Pruned-YOLOv5。 注意： 1.该项目基于 。 首先将其安装。 然后，使用此处提供的模型配置文件（ coco_yolov5l.yaml ）和网络模块定义文件（ common.py ）...
yolov7改进优化之蒸馏（二）
Awesome Computer Vision, 做计算机视觉的程序员
10-23 740
这一篇结合上一篇就可以吧基于FGD算法的蒸馏训练起来了，其他蒸馏的修改也大同小异了。
【YOLOv7/YOLOv5系列算法改进NO.49】模型剪枝、蒸馏、压缩
m0_70388905的博客
12-07 1万+
网络模型轻量化方法之剪枝、蒸馏、压缩，适应于需要轻量化模型对检测速度有要求的朋友。
yolov5使用知识蒸馏
weixin_41981679的博客
02-22 5833
本文介绍的论文《Distilling Object Detectors with Fine-grained Feature Imitation》即是基于 Fine-grained Feature Imitation 技术的目标检测知识蒸馏方法。该方法将 Fine-grained Feature Imitation 应用于学生模型的中间层，以捕捉更丰富的特征信息。
YOLOv5目标检测之知识蒸馏实战
bai666ai的博客
05-16 5253
课程链接：https://download.csdn.net/course/detail/37294 PyTorch版的YOLOv5是一个当前非常流行的目标检测器，本课程对YOLOv5进行知识蒸馏实战，来提升其性能。 知识蒸馏（Knowledge Distillation）是模型压缩的一种常用的方法。它利用性能更好的大模型的监督信息，来训练一个轻量化小模型，使小模型达到更好的性能和精度。 最早是由Hinton首次提出并应用在分类任务上，这个大模型称之为教师模型，小模型称之为学生模型。来自教师模型输出的监
YOLOX的解耦头结构思考
热门推荐
Michael的博客
10-09 1万+
问题 YOLOX提出了一个Decoupled Head结构以代替YOLO Head，进而在YOLOv3 baseline的基础上提升了1.1个百分点的mAP，那为什么解耦头结构就能够提升检测效果呢？ 调研 我主要在YOLOX原论文讲述Decoupled Head这一部分，找到了引用的两篇文献，并加以解读。 第一篇文献是Song等人在CVPR2020发表的“Revisiting the Sibling Head in Object Detector”。 文中提出了，在目标检测的定位和分类任务中，存在spa
【知识蒸馏】开源：Yolov5模型知识蒸馏训练（可用于自己的数据集）
梁瑛平的博客
05-07 1万+
代码地址： https://github.com/Sharpiless/Yolov5-distillation-train-inference 蒸馏训练： python train_distill.py --weights yolov5s.pt \ --teacher weights/yolov5l_voc.pt --distill_ratio 0.001 \ -- teacher-cfg model/yolov5l.yaml --data data/voc.yaml \ --e
为什么YOLO远远超过了SSD？YOLO怎样一步步变得这么强大？
06-04
YOLO（You Only Look Once）与SSD（Single Shot MultiBox Detector）是两种不同的目标检测算法，它们各自有其优点和缺点。...此外，YOLO还采用了数据增强、模型蒸馏等训练策略来提高模型的泛化能力和效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hi小蜗

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值