蒸馏算法系列
文章平均质量分 70
hi小蜗
热爱生活的曲同学~
展开
-
如何用大模型蒸馏一个yolo模型?(一)
这篇论文进一步研究了使用知识蒸馏来改善小目标检测的问题,并提出了一种适用于小目标检测的知识蒸馏方法。这篇论文针对一阶段目标检测器,如YOLO,提出了一种基于知识蒸馏的方法来提高模型的性能。这篇论文介绍了YOLOv2模型,并提出了使用知识蒸馏的方法来进一步提升模型的性能。github上的开源项目只搜到了一个相关的,是基于论文的一个实现。原创 2023-10-30 15:38:32 · 190 阅读 · 0 评论 -
Distilling the Knowledge in a Neural Network学习笔记
通过调整这两个目标函数的权重,可以在保留软目标的信息的同时,让模型更好地学习硬标签的知识。在使用硬标签和软目标进行训练时,需要注意将软目标的梯度乘以温度的平方,以保持硬目标和软目标的相对贡献大致不变。在传统的监督学习中,通常使用硬标签来训练模型,即将模型的输出与真实标签进行比较,通过最小化它们之间的差异来优化模型。软目标是大模型的输出概率分布传递给小模型来获得的,这些概率分布可能包含了大模型的对于小模型来说,额外的知识和不确定性。这样可以在保留软目标的知识的同时,确保模型也能够学习到正确的标签信息。原创 2023-10-30 14:29:30 · 732 阅读 · 2 评论