【没有哪个港口是永远的停留~ 论文简读】2017 Learning Efficient Object Detection Models withKnowledge Distillation

最新推荐文章于 2024-04-19 17:43:58 发布
最新推荐文章于 2024-04-19 17:43:58 发布
阅读量278 收藏
点赞数
分类专栏： 论文研究、复现、总结 模型部署、加速、优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/magic_shuang/article/details/118703815
版权

链接：2017 Learning Efficient Object Detection Models withKnowledge Distillation

这篇论文是基于 Faster--RCNN模型的 ，模型中的RPN部分对应图中Soft Label对应部分 RCN部分对应的是最右侧的预测，最终的Loss表示为

 

一点一点看哈

【1】先看左边的L_{Hint}部分，是选取Teacher模型的中间层，以及Student的一个中间层。添加个适应层Adaptation,保证Teacher和Student同尺寸。

 【2】再看RCN部分，这部分就是Student模型的输出了，标签就是数据集标签。对应的loss是hart-loss

 N为每批次数量

【3】RPN部分,这部分由Teacher指导输出，所以loss为soft-loss

对于Lreg：平滑的L1损失

对于类别的判断L_{cls}^{RPN}=L_{soft}计算方法：

其中:

T:是一个温度参数（通常设置为1）

Z:是预测分数

w:

w0 = 1.5  background class 

wi = 1 for all the others

 

magic_shuang
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Distilling】《Learning Efficient Object Detection Models with Knowledge Distillation》
bryant_meng
03-06 4489
NIPS-2017 文章目录1 Background and Motivation2 Advantages / Contributions3 Method4 Experiments4.1 Datasets5 Conclusion（own） / Future work 1 Background and Motivation 2 Advantages / Contributions 3 Me...
[目标检测知识蒸馏1] [NIPS17] Learning Efficient Object Detection Models with Knowledge Distillation
Zhang Junjian的专栏
08-30 1467
目标检测知识蒸馏
论文精读--Learning Efficient Object Detection Models with Knowledge Distillation
最新发布
m0_73202283的博客
04-19 1236
尽管基于卷积神经网络（CNN）的目标检测器在准确性方面取得了显著的提高，但它们往往需要禁止的运行时间来处理图像以用于实时应用。最先进的模型通常使用非常深层的网络和大量的浮点运算。诸如模型压缩之类的工作学习具有更少参数的紧凑模型，但准确性大大降低。在本工作中，我们提出了一种新的框架，使用知识蒸馏和提示学习来学习紧凑且快速的目标检测网络，并改善准确性。尽管知识蒸馏在简单分类设置中表现出了出色的改进，但检测的复杂性提出了新的挑战，例如回归、区域提议和较少数量的标签。
Knowledge Distillation(8)——Learning Efficient Object Detection Models with Knowledge Distillation
judgechen1997的博客
09-23 3604
Learning Efficient Object Detection Models with Knowledge Distillation概述 之前博客整理的论文都是knowledge distillation及其变体，作为机器学习的一种方法的研究发展历程。从这篇博客开始，我将介绍其在CV领域的一些具体的用法。 本文是knowledge distillation在detection上成功应用的一...
目标检测中的知识蒸馏方法
dnty00的博客
07-27 1万+
知识蒸馏 知识蒸馏指的是模型压缩的思想，用压缩之前的模型作为老师，压缩之后的模型作为学生，通过一步一步地使用一个较大的已经训练好的网络去教导一个较小的网络确切地去做什么。“软标签”指的是大网络在每一层卷积后输出的feature map。然后，通过尝试复制大网络在每一层的输出(不仅仅是最终的损失)，小网络被训练以学习大网络的准确行为。 ...........................
Learning Lightweight Lane Detection CNNs by Self Attention Distillation.pdf
04-20
Training deep models for lane detection is challenging due to the very subtle and sparse supervisory signals in- herent in lane annotations. Without learning from much richer context, these models ...
Localization-Distillation-for-Dense-Object-Detection
02-05
知识蒸馏（KD）在目标检测中学习紧凑模型方面的强大能力。以往的目标检测KD方法主要集中在模仿模仿区域内的深度特征，而不是模拟分类logit，因为它在提取定位信息方面效率低下，而且改进微不足道。...
Self-Distillation: Towards Efficient and Compact Neural Networks
01-15
【论文速递】TPAMI2022 - 自蒸馏：迈向高效紧凑的神经网络 在过去的几年里，深度神经网络取得了显著的成就。然而，神经网络精度的突破总是伴随着计算和参数的爆炸式增长，这导致了模型部署的严重限制。在本文中，...
Efficient Image Inpainting with Knowledge Distillation
01-29
基于知识蒸馏的高效图像修复，成楚璇，沈奇威，近年来，深度学习在图像分类、识别、分割和生成领域都取得了突破性进展。基于深度学习的图像修复研究也取得了一些突破。现有算法
SemCKD:这是AAAI-2021论文的正式实施（带语义校准的跨层蒸馏）
05-24
SemCKD 带有语义校准的跨层蒸馏（AAAI-2021） 根据进行知识蒸馏的位置，可以将现有的特征蒸馏工作分为两类。 如下图所示，一种是特征图蒸馏，另一种是特征嵌入蒸馏。 SemCKD属于特征图蒸馏，并且与SOTA特征嵌入...
Knowledge Distillation论文阅读（2）：Learning Efficient Object Detection Models with Knowledge Distillation
qq_42902997的博客
09-24 1355
文章目录AbstractMethod3.1 Overall Structure3.2 Knowledge Distillation for Classification with Imbalanced Classes3.3 Knowledge Distillation for Regression with Teacher Bounds3.4 Hint Learning with Feature Adaption 由于论文中有很多冗余的话，在这篇文章的阅读中，我只总结比较重要的部分，而不再对论文进行逐字逐
[2017NIPS]Learning Efficient Object Detection Models with Knowledge Distillation 论文笔记
weixin_45750753的博客
03-11 514
目标检测知识蒸馏
关于目标检测的distillation的一点理解
lovep1的博客
10-31 821
1、常见的基本操作 文章代表Learning Efficient Object Detection Models with Knowledge Distillation 如上图所示 ， 首先在teacher-model和student-model的中间层featuemap进行学习和蒸馏，如果遇到st-model和te-model的feature-mapshape不一致时，则使用adaption模块来完成统一，然后计算l2距离。 其次,RPN\RCN部分的分类的暗知识以及回...
Learning Efficient Object Detection Models with Knowledge Distillation论文精读
sinat_22078359的博客
06-15 955
论文：http://papers.nips.cc/paper/6676-learning-efficient-object-detection-models-with-knowledge-distillation.pdf github： 本周阅读了Learning Efficient Object Detection Models with Knowledge Distillation论文，方便日后查阅。 目录 主要工作 3方法 3.1 总体结构 3.2 带有不平衡类别的分类的知识蒸馏...
目标检测网络的知识蒸馏
AI Flash
09-06 1万+
"Learning Efficient Object Detection Models with Knowledge Distillation"这篇文章通过知识蒸馏（Knowledge Distillation）与Hint指导学习（Hint Learning），提升了主干精简的多分类目标检测网络的推理精度（文章以Faster RCNN为例），例如Faster RCNN-Alexnet、Faster...
Learning efficient object detection models with knowledge distillation论文笔记
qq_43812519的博客
05-18 1986
论文地址：http://papers.nips.cc/paper/6676-learning-efficient-object-detection-models-with-knowledge-distillation github地址：无 Motivation 本文提出针对目标检测网络的知识蒸馏压缩算法。之前的大多数知识蒸馏压缩算法都用于分类网络，虽然能在保留精度的同时，压缩模型，提升速度，但只在分类任务上得到了印证，在更复杂的object detection上还有待探索。在目标检测任务中，存在特殊的挑战：
Knowledge Distillation(1)——入门&开山之作
judgechen1997的博客
09-19 3223
Knowledge Distillation 概述研究背景定义（知识蒸馏是什么？）开山之作1. Introduction2. Distillation 研究背景 对于机器学习的模型，我们往往在训练和部署时使用着极其相似的模型，尽管这两个阶段明显有着不同的需求：训练时可以使用一个巨大的数据集去训练一个很深的模型，并占用大量的计算资源，以期达到最好的效果；然而在实际应用时，却又对计算时间和计算资源特...
深度神经网络加速和压缩
XSYYMY的博客
08-21 3451
模型加速与压缩方法分类总结 • Low-Rank • Pruning • Quantization • Knowledge Distillation • Compact Network Design   Low-Rank Previous low-rank based methods: • SVD - Zhang et al., “Accelerating Very Deep Conv...
CVPR 2016 摘要阅读
热门推荐
Tsingzao的博客
08-02 3万+
为了说明看过CVPR2016全部文章的摘要，总结一下，摘要只保留了创新点部分。 ORAL SESSION Image Captioning and Question Answering Monday, June 27th, 9:00AM - 10:05AM. These papers will also be presented at the following poster sessio
localization distillation for dense object detection
09-17
本文简要介绍了一种名为"localization distillation"的方法，用于改进密集目标检测。密集目标检测是指在一张图像中同时检测多个目标的任务。 在传统的密集目标检测方法中，一般利用深度卷积神经网络（CNN）来提取...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值