关于目标检测的distillation的一点理解

最新推荐文章于 2024-04-19 17:43:58 发布
最新推荐文章于 2024-04-19 17:43:58 发布
阅读量835 收藏
点赞数
文章标签： 目标检测 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lovep1/article/details/121059024
版权

1、常见的基本操作

文章代表Learning Efficient Object Detection Models with Knowledge Distillation

    如上图所示 ，

    首先在teacher-model和student-model的中间层featuemap进行学习和蒸馏，如果遇到st-model和te-model的feature-mapshape不一致时，则使用adaption模块来完成统一，然后计算l2距离。

    其次,RPN\RCN部分的分类的暗知识以及回归层的暗知识，其实也是featremap，通过计算普通的损失以及蒸馏损失来完成知识蒸馏。

    

      其中

最低0.47元/天 解锁文章
lovep1
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
General Instance Distillation for Object Detection 论文和源码阅读笔记
lovep1的博客
11-24 2717
paper：https://arxiv.org/pdf/2103.02340.pdf code：GitHub - daixinghome/Distill_GID_detectron2 首先给出论文链接和源码链接，默默地发现是基于D2的代码，说不定可以白嫖一波，先写一下论文，后续再仔细研读一下源码，旷视的工作还是很良心的，重点指出的是，这篇paper和我的上一篇kd的博客的paper都是覆盖anchor-based、anchor-free的，因此我觉得算是很不错的工作。 1、abstract ..
《LD：Localization Distillation for Object Detection》论文笔记
m_buddy的博客
12-19 1241
参考代码：LD 1. 概述 导读：这篇文章研究的是检测场景下的知识蒸馏方案。在该场景下的蒸馏有采取直接将对应特征图匹配到对应维度之后做特征图差异最小化，也有使用Teacher输出的GT作为引导排除大量背景等无关信息的。在这篇文章中参考和借鉴了在原分类网络中做蒸馏的思想，也就是在网络输出概率分布软化之后做蒸馏。因而这篇文章就使用到GFocal的边界框回归方案，这样就可以直接在输出的概率分布上做蒸馏，从而避免了Teacher和Student网络结构不对应带来的匹配问题，因此更加灵活。在实际进行蒸馏的时候文章指
General Instance Distillation for Object Detection
m0_50888279的博客
08-02 283
Background Previous distillation methods of detection have weak generalization for different detection frameworks and rely heavily on ground truth(GT), ignoring the valuable relation information between instances. Distillation methods on multi-classificati
论文精读--Learning Efficient Object Detection Models with Knowledge Distillation
m0_73202283的博客
04-19 1300
尽管基于卷积神经网络（CNN）的目标检测器在准确性方面取得了显著的提高，但它们往往需要禁止的运行时间来处理图像以用于实时应用。最先进的模型通常使用非常深层的网络和大量的浮点运算。诸如模型压缩之类的工作学习具有更少参数的紧凑模型，但准确性大大降低。在本工作中，我们提出了一种新的框架，使用知识蒸馏和提示学习来学习紧凑且快速的目标检测网络，并改善准确性。尽管知识蒸馏在简单分类设置中表现出了出色的改进，但检测的复杂性提出了新的挑战，例如回归、区域提议和较少数量的标签。
Learning Efficient Object Detection Models with Knowledge Distillation论文精读
sinat_22078359的博客
06-15 975
论文：http://papers.nips.cc/paper/6676-learning-efficient-object-detection-models-with-knowledge-distillation.pdf github： 本周阅读了Learning Efficient Object Detection Models with Knowledge Distillation论文，方便日后查阅。 目录 主要工作 3方法 3.1 总体结构 3.2 带有不平衡类别的分类的知识蒸馏...
[2021ICLR]Improve Object Detection with Feature-based Knowledge Distillation 论文笔记
weixin_45750753的博客
03-12 5704
目标检测知识蒸馏
Focal and Global Knowledge Distillation for Detectors聚焦蒸馏与全局蒸馏在目
06-24
该技术最初应用于图像分类，但将其扩展到目标检测领域则更为复杂。在目标检测中，教师网络和学生网络的特征在前景和背景区域往往存在显著差异，这为知识蒸馏带来了困难。 针对这一问题，文章提出了Focal and Global...
量化加速-使用Pytorch-quantization对YOLOv8目标检测算法进行量化加速-模型小型化-附项目源码优质项目实战
最新发布
05-08
YOLO（You Only Look Once）系列的目标检测算法以其高效和实时性在计算机视觉领域备受青睐。YOLOv8是该系列的最新版本，它在前代的基础上进行了优化，提升了检测速度和精度。本项目旨在利用PyTorch的量化工具PyTorch...
OpenCV部署SCRFD人脸检测包含C++和Python源码+模型+说明.zip
05-02
SCRFD结合两者优点，利用轻量级的网络结构和残差学习，提高了模型在小目标检测上的性能，特别适合于实时人脸识别系统。 **2. OpenCV中的深度学习模块** OpenCV 3.0版本开始支持深度学习，提供了一个内置的DNN模块...
yolox的相关识别资料，比较杂
08-11
YOLOX，全称为"You Only Look Once eXtreme"，是YOLO系列目标检测算法的最新版本。YOLO（You Only Look Once）是一种实时的目标...对于想在目标检测领域进行研究或应用的人员来说，理解和掌握YOLOX的相关知识至关重要。
YOLO 知识蒸馏学习及落地部署（v5和v8）
12-10
1. CWD（Contrastive Weighted Distillation）：这种方法强调了在目标检测任务中，不仅关注教师模型的类别预测，而且关注其置信度分布。通过对比学习，CWD使学生模型能够更好地理解教师模型的决策边界，从而提高其...
mmdetection-distiller：这是基于mmdetection的知识蒸馏工具箱
03-03
毫米波检测器 该项目基于mmdetection（v-2.9.0），所有用法与相同，包括培训，测试等。 蒸馏器动物园 安装 设置新的conda环境： conda create -n distiller python=3.7 安装pytorch 安装mmdetection-distiller git clone https://github.com/pppppM/mmdetection-distiller.git cd mmdetection-distiller pip install -r requirements/build.txt pip install -v -e . 火车 #single GPU python tools/train.py configs/distillers/cwd/cwd_retina_rx101_64x4d_distill_retina_r50_fpn_2
An End-to-End Architecture for Class-Incremental Object Detection With Knowledge Distillation详解
gbyy42299的博客
12-12 896
背景 最近在做目标检测增量学习相关的东西，所以看了这个CIOD的论文记录在这里，这里面有一些基础内容可以看我之前的两篇文章： https://blog.csdn.net/gbyy42299/article/details/83718533 https://blog.csdn.net/gbyy42299/article/details/83616918 伪代码 ...
Knowledge Distillation(8)——Learning Efficient Object Detection Models with Knowledge Distillation
judgechen1997的博客
09-23 3629
Learning Efficient Object Detection Models with Knowledge Distillation概述 之前博客整理的论文都是knowledge distillation及其变体，作为机器学习的一种方法的研究发展历程。从这篇博客开始，我将介绍其在CV领域的一些具体的用法。 本文是knowledge distillation在detection上成功应用的一...
【没有哪个港口是永远的停留~ 论文简读】2017 Learning Efficient Object Detection Models withKnowledge Distillation
magic_shuang的博客
07-13 287
链接：2017 Learning Efficient Object Detection Models withKnowledge Distillation 这篇论文是基于Faster--RCNN模型的 ，模型中的RPN部分对应图中Soft Label对应部分 RCN部分对应的是最右侧的预测，最终的Loss表示为 一点一点看哈 【1】先看左边的部分，是选取Teacher模型的中间层，以及Student的一个中间层。添加个适应层Adaptation,保证Teacher和Student同尺寸..
【Distilling】《Learning Efficient Object Detection Models with Knowledge Distillation》
bryant_meng
03-06 4545
NIPS-2017 文章目录1 Background and Motivation2 Advantages / Contributions3 Method4 Experiments4.1 Datasets5 Conclusion（own） / Future work 1 Background and Motivation 2 Advantages / Contributions 3 Me...
Knowledge Distillation论文阅读（2）：Learning Efficient Object Detection Models with Knowledge Distillation
qq_42902997的博客
09-24 1381
文章目录AbstractMethod3.1 Overall Structure3.2 Knowledge Distillation for Classification with Imbalanced Classes3.3 Knowledge Distillation for Regression with Teacher Bounds3.4 Hint Learning with Feature Adaption 由于论文中有很多冗余的话，在这篇文章的阅读中，我只总结比较重要的部分，而不再对论文进行逐字逐
[2017NIPS]Learning Efficient Object Detection Models with Knowledge Distillation 论文笔记
weixin_45750753的博客
03-11 522
目标检测知识蒸馏
[目标检测知识蒸馏1] [NIPS17] Learning Efficient Object Detection Models with Knowledge Distillation
Zhang Junjian的专栏
08-30 1523
目标检测知识蒸馏

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值