#今日论文推荐# 目标检测-定位蒸馏：logit蒸馏与feature蒸馏之争

已于 2022-04-25 14:39:29 修改
阅读量420 收藏 1
点赞数
分类专栏： 深度学习 文章标签： 数据结构
于 2022-04-25 14:23:30 首次发布
原文链接：https://www.aminer.cn/research_report/62661c097cb68b460fa83931?=cs
版权

#今日论文推荐# 目标检测-定位蒸馏：logit蒸馏与feature蒸馏之争

方法概括：把用于分类 head 的 KD（知识蒸馏），用于目标检测的定位 head，即有了 LD（Localization Distillation）。
做法：先把 bbox 的 4 个 logits 输出值，离散化成 4n 个 logits 输出值，之后与分类 KD 完全一致。
意义：LD 使得 logit mimicking 首次战胜了 Feature imitation。分类知识与定位知识的蒸馏应分而治之、因地制宜。

论文题目：Localization Distillation for Object Detection
详细解读：https://www.aminer.cn/research_report/62661c097cb68b460fa83931?=csAMiner利用数据挖掘和社会网络分析与挖掘技术，提供研究者语义信息抽取、面向话题的专家搜索、权威机构搜索、话题发现和趋势分析、基于话题的社会影响力分析、研究者社会网络关系识别等众多功能。https://www.aminer.cn/research_report/62661c097cb68b460fa83931?=cs
全部论文免费下载：https://www.aminer.cn/?f=cs

wwwsxn
关注
专栏目录
【知识蒸馏】多任务模型 logit-based 知识蒸馏实战
m0_51579041的博客
05-22 930
【知识蒸馏】多任务模型 logit-based 知识蒸馏实战
yolov8（目标检测、图像分割、关键点检测）知识蒸馏：logit和feature-based蒸馏方法的实现
weixin_51988935的博客
04-15 4095
支持yolov8检测、分割、关键点任务的知识蒸馏，并对蒸馏代码进行详解，比较容易上手。蒸馏方式多种，支持logit和feature-based蒸馏以及在线蒸馏。
Localization Distillation for Dense Object Detection -用于密集目标检测的定位蒸馏（LD）
wfl6666的博客
03-02 576
在本文中，通过重新表述本地化的知识蒸馏过程，我们提出了一种新的本地化蒸馏（LD）方法，该方法可以有效地将本地化知识从教师转移到学生。此外，我们还启发式地引入了有价值的定位区域的概念，该概念可以帮助选择性地提取特定区域的语义和定位知识。
【论文速递】CVPR2022 - 用于密集物体检测的定位蒸馏
qq_50757624的博客
02-05 409
知识蒸馏（KD）在目标检测中学习紧凑模型方面的强大能力。以往的目标检测KD方法主要集中在模仿模仿区域内的深度特征，而不是模拟分类logit，因为它在提取定位信息方面效率低下，而且改进微不足道。本文通过重构定位知识蒸馏过程，提出了一种新的定位蒸馏（LD）方法，该方法可以有效地将定位知识从教师传递给学生。此外，**我们还启发式地引入了有价值的定位区域的概念，可以帮助选择性地提取特定区域的语义和定位知识。结合这两个新组件，我们首次证明了logit模拟可以优于特征模仿，而定位知识蒸馏在提取对象检测器方面比语义
Localization Distillation for Dense Object Detection（用于密集目标检测的定位蒸馏）CVPR2022
qq_54828577的博客
07-19 3301
知识蒸馏（KD）在目标检测中具有强大的学习紧凑模型的能力。以往的KD目标检测方法大多侧重于模仿模仿区域内的深层特征，而不是模仿分类logit，因为其在提取定位信息方面效率低下，并且改进很小。本文通过对知识蒸馏的重新表述，在定位过程中，我们提出了一种新的定位提取方法，可以有效地将定位知识从教师传递给学生。此外，我们还启发性地引入了有价值的定位区域的概念，可以帮助有选择地提取特定区域的语义和定位知识。我们证明了logit模拟优于特征模拟，并且在提取目标检测器时，定位知识提取比语义知识更重要、更有效。......
知识蒸馏综述
henyaoyuancc的博客
01-07 2068
知识蒸馏简介logit蒸馏开山之作 简介 蒸馏算法分为多种，基于特征、logit以及基于关系的三种 logit蒸馏 开山之作 论文名称：Distilling the Knowledge in a Neural Network Hilton 2015 提出了标签温度的概念，温度T越高，标签越soft 具体步骤： 1）在T=1时训练教师网络 2）在高温下用teancher softmax输出的概率作为soft label，与GT的hard label进行融合训练 hard损失使用交叉熵损失，soft损
yolov8知识蒸馏代码详解：支持logit和feature-based蒸馏
@bangbang的博客
12-27 4615
特别地，在COCO数据集上对MAP中的RetinaNet检测器(resnet50主干）获得了3.4%的性能提升，在Cityscapes数据集上, 针对mIoU指标，PSPNET(resnet-18 backbone）获得5.81%的性能提升。大部分的KD方法都是通过algin学生网络和教师网络的归一化的feature map, 最小化feature map上的激活值的差异。MGD是一种真正通用的基于特征feature的知识蒸馏方法，它可以用于各种任务，包括图像分类，目标检测，语义分割和实例分割。
yolov8 知识蒸馏源码
12-18
支持 logit和 feature-based蒸馏以及在线蒸馏： (1)在线蒸馏 (2)logit 蒸馏 (3)mimic 特征蒸馏 (4)cwd: channel-wise distillation 特征蒸馏 (5)mgd: masked generative distillation 特征蒸馏 2. 代码通俗易懂，...
Featured Based知识蒸馏及代码(1): Masked Generative Distillation (MGD)
@bangbang的博客
12-14 744
知识蒸馏已成功地应用于图像检测、分割、分类等任务。目前的蒸馏算法通常会通过模仿教师网络的输出以使学生特征具有更强的表征能力。我们认为提升学生的表征能力并不一定需要通过直接模仿教师实现。从这点出发，我们把模仿任务修改成了生成任务让学生凭借自己较弱的特征去生成教师较强的特征。在蒸馏过程中，我们对学生特征进行了随机 mask，强制学生仅用自己的部分特征去生成教师的所有特征，以提升学生的表征能力。MGD是一种真正通用的基于特征feature的知识蒸馏方法，它可以用于各种任务，包括图像分类目标检测。
Quantized Feature Distillation for Network Quantization论文解读ppt分享
最新发布
07-27
### Quantized Feature Distillation for Network Quantization：论文解读与知识点提炼 #### 一、背景介绍 **量化感知训练（QAT）**作为一种成熟的技术，在极低比特设置下仍能保持网络准确性，已成为研究热点。...
Faster RCNN的检测蒸馏（分类、回归、Feature-level、Feature-level＋Mask）
一路狂奔的猪的博客
07-08 2844
The code is heavily borrowed from : 1.Distillation for faster rcnn in classification,regression,feature level http://papers.nips.cc/paper/6676-learning-efficient-object-detection-models-with-knowle...
目标检测-定位蒸馏：logit蒸馏与feature蒸馏之争
Paper weekly
04-24 4207
定位蒸馏 （LD, CVPR 2022）先上我们文章和代码：论文标题：Localization Distillation for Dense Object Detection论文地址：https://arxiv.org/abs/2102.12252代码地址1：https://github.com/HikariTJU/LD地址代码2：https://github.com/o...
基于YOLOv4的目标检测知识蒸馏算法研究
weixin_50094312的博客
10-25 901
１）提出多尺度的注意力蒸馏算法 ，指导学生网络的输出使其接近于教师网络的输出，进一步对学生网络生成的特征图进行指导训练，使其能够学习到与教师网络相似的、不同尺度的特征编码方式，从而提高学生网络的检测性能；２）在特征提取层 、目标分类与边框预测上都利用教师网络的“知识 ”指导学生网络训练。提出多尺度像素注意模块（ｍＰＡＭ）来构造特征提取网络的特征注意力图，并同时在目标分类与边框预测上展开蒸馏。
目标检测论文解读四（检测蒸馏论文三篇）
蓝鲸鱼的博客
08-11 759
在论文中，作者使用蒸馏来训练基于CNN的检测器，不需要ImageNet预训练。 具体来说： 从整个feature map中采样的特征进行模拟，并使用变换层将小网络中的特征映射到大网络的同维上。 在训练小网络时，优化了两个网络的特征图上来自同一区域的特征之间的相似性。 ...
知识蒸馏论文阅读：DKD算法笔记
qq_43631268的博客
03-08 1592
SOTA的蒸馏方法主要基于蒸馏来自中间层的深度特征，而logit蒸馏的重要性被极大地忽略。为了给logit蒸馏的研究提供一个新的视角，我们将经典的KD损失重新表示为两部分，即目标类知识蒸馏（TCKD）和非目标类知识蒸馏（NCKD）。我们经验地研究并证明了这两部分的作用：TCKD迁移了关于训练样本的“难度”的知识，而NCKD则是logit蒸馏起作用的重要原因。更重要的是，我们揭示了经典的KD损失是一个耦合的形式，它①抑制了NCKD的有效性，②限制了平衡这两部分的灵活性。为了解决这些问题，我们提出解耦知识蒸馏。
目标检测网络的知识蒸馏
热门推荐
AI Flash
09-06 1万+
"Learning Efficient Object Detection Models with Knowledge Distillation"这篇文章通过知识蒸馏（Knowledge Distillation）与Hint指导学习（Hint Learning），提升了主干精简的多分类目标检测网络的推理精度（文章以Faster RCNN为例），例如Faster RCNN-Alexnet、Faster...
目标检测中的知识蒸馏方法
dnty00的博客
07-27 1万+
知识蒸馏 知识蒸馏指的是模型压缩的思想，用压缩之前的模型作为老师，压缩之后的模型作为学生，通过一步一步地使用一个较大的已经训练好的网络去教导一个较小的网络确切地去做什么。“软标签”指的是大网络在每一层卷积后输出的feature map。然后，通过尝试复制大网络在每一层的输出(不仅仅是最终的损失)，小网络被训练以学习大网络的准确行为。 ...........................
CVPR 2022详解｜重新挖掘logit蒸馏的潜力，旷视等开源解耦知识蒸馏DKD
limingmin2020的博客
07-26 405
该论文提出了一种十分新颖的观点，即：输出知识蒸馏的潜力其实还没有得到完全开发。作者在本文中揭示出传统知识蒸馏方法会自然地抑制 NCKD 的作用，因此限制了知识蒸馏的潜力和灵活性。本文进一步将 TCKD 和 NCKD 进行解耦，通过独立的超参数控制二者的作用，得到的 DKD 蒸馏方法在一系列视觉任务上得到的明显的性能提升。......
蒸馏Knowledg Distilling
Black eyes的博客
12-12 541
文章目录蒸馏基础知识Distilling the Knowledge in a Neural Network 2015 HintonDeep mutual learning 蒸馏基础知识 Distilling the Knowledge in a Neural Network 2015 Hinton 什么是知识蒸馏： 知识蒸馏中的"知识"，其实指的就是对于网络模型中参数权重的一些抽取/迁移的操作。 知识蒸馏的作用： 模型压缩。 模型压缩一般有什么其他的方法 1、模型剪枝（Model Pruning） 1.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值