[2017NIPS]Learning Efficient Object Detection Models with Knowledge Distillation 论文笔记

VIP文章 已于 2022-03-11 21:54:50 修改
阅读量514 收藏 3
点赞数 2
分类专栏： 知识蒸馏 目标检测 文章标签： 深度学习 目标检测
于 2022-03-11 21:39:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45750753/article/details/123434482
版权

目录

Method

将知识蒸馏用在检测方向最大的问题就是前景和背景的类别不均衡问题。

感觉就是很常规的思路，蒸特征+蒸输出，具体是在Faster-RCNN上做。其中蒸特征是使用的FitNet的方法在backbone做，在RPN和分类回归网络(RCN)部分蒸输出，两个部分都同时做分类和回归蒸馏。分类是做了一个weighted交叉熵，回归是做了一个bounded回归损失(即如果学生回归的比老师好，那就没有损失)，再加上GT的损失，构成一个整体。

整体损失如下。同时在RCN和RPN做回归和分类损失是因为Faster-RCNN同时在RCN和RPN都做了回归和分类操作：
总损失

最低0.47元/天 解锁文章
机器就不学习
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【知识蒸馏】开源：Yolov5模型知识蒸馏训练（可用于自己的数据集）
梁瑛平的博客
05-07 9989
代码地址： https://github.com/Sharpiless/Yolov5-distillation-train-inference 蒸馏训练： python train_distill.py --weights yolov5s.pt \ --teacher weights/yolov5l_voc.pt --distill_ratio 0.001 \ -- teacher-cfg model/yolov5l.yaml --data data/voc.yaml \ --e
Learning Lightweight Lane Detection CNNs by Self Attention Distillation.pdf
04-20
Training deep models for lane detection is challenging due to the very subtle and sparse supervisory signals in- herent in lane annotations. Without learning from much richer context, these models often fail in challenging sce- narios, e.g., severe occlusion, ambiguous lanes, and poor lighting conditions. In this paper, we present a novel knowl- edge distillation approach, i.e., Self Attention Distillation (SAD), which allows a model to learn from itself and gains substantial improvement without any additional supervision or labels. Specifically, we observe that attention maps ex- tracted from a model trained to a reasonable level would encode rich contextual information. The valuable contex- tual information can be used as a form of ‘free’ supervision for further representation learning through performing top- down and layer-wise attention distillation within the net- work itself. SAD can be easily incorporated in any feed- forward convolutional neural networks (CNN) and does not increase the inference time. We validate SAD on three pop- ular lane detection benchmarks (TuSimple, CULane and BDD100K) using lightweight models such as ENet, ResNet- 18 and ResNet-34. The lightest model, ENet-SAD, per- forms comparatively or even surpasses existing algorithms. Notably, ENet-SAD has 20 × fewer parameters and runs 10 × faster compared to the state-of-the-art SCNN [16], while still achieving compelling performance in all bench- marks. Our code is available at https://github. com/cardwing/Codes-for-Lane-Detection.
目标检测网络的知识蒸馏
热门推荐
AI Flash
09-06 1万+
"Learning Efficient Object Detection Models with Knowledge Distillation"这篇文章通过知识蒸馏（Knowledge Distillation）与Hint指导学习（Hint Learning），提升了主干精简的多分类目标检测网络的推理精度（文章以Faster RCNN为例），例如Faster RCNN-Alexnet、Faster...
[目标检测知识蒸馏1] [NIPS17] Learning Efficient Object Detection Models with Knowledge Distillation
Zhang Junjian的专栏
08-30 1469
目标检测知识蒸馏
【Distilling】《Learning Efficient Object Detection Models with Knowledge Distillation》
bryant_meng
03-06 4491
NIPS-2017 文章目录1 Background and Motivation2 Advantages / Contributions3 Method4 Experiments4.1 Datasets5 Conclusion（own） / Future work 1 Background and Motivation 2 Advantages / Contributions 3 Me...
mobile-yolov5-pruning-distillation:mobilev2-yolov5s剪枝，蒸馏，支持ncnn，tensorRT部署。超轻但性能更好！
03-19
移动式yolov5修剪蒸馏 mobilev2-yolov5s的通道修剪和蒸馏。超轻但性能更好！ TensorRT版本===> Android版本===> 背景 yolov5s在640x640分辨率下的计算量和参数量分别为8.39G和7.07M。在速度上仍然有提升空间，通过替换backbone（mobilenetv2），通道剪枝对模型进行压缩。 。本项目以工程化为基础，主要是模型端的优化。实现了常用的剪枝和蒸馏算法，并完成了一个简单的介绍和评估。将工程可用模型转换成对应的部署版本。 基准线 数据集采用Pascal VOC，训练集= train2007 + train2012 + val2007 + val2012，测试集= test2007，基线采用mobile-yolo（imagenet预训练），如果没有特别说明，第一个模块采用重点如果特定特殊说明则可以使用替换参数，batchsize
Knowledge Distillation论文阅读（2）：Learning Efficient Object Detection Models with Knowledge Distillation
qq_42902997的博客
09-24 1357
文章目录AbstractMethod3.1 Overall Structure3.2 Knowledge Distillation for Classification with Imbalanced Classes3.3 Knowledge Distillation for Regression with Teacher Bounds3.4 Hint Learning with Feature Adaption 由于论文中有很多冗余的话，在这篇文章的阅读中，我只总结比较重要的部分，而不再对论文进行逐字逐
目标检测中的知识蒸馏方法
dnty00的博客
07-27 1万+
知识蒸馏 知识蒸馏指的是模型压缩的思想，用压缩之前的模型作为老师，压缩之后的模型作为学生，通过一步一步地使用一个较大的已经训练好的网络去教导一个较小的网络确切地去做什么。“软标签”指的是大网络在每一层卷积后输出的feature map。然后，通过尝试复制大网络在每一层的输出(不仅仅是最终的损失)，小网络被训练以学习大网络的准确行为。 ...........................
YOLOv5目标检测之知识蒸馏实战
05-15
PyTorch版的YOLOv5是一个当前非常流行的目标检测器，本课程对YOLOv5进行知识蒸馏实战，来提升其性能。知识蒸馏（Knowledge Distillation）是模型压缩的一种常用的方法。它利用性能更好的大模型的监督信息，来训练一个轻量化小模型，使小模型达到更好的性能和精度。 最早是由Hinton首次提出并应用在分类任务上，这个大模型称之为教师模型，小模型称之为学生模型。来自教师模型输出的监督信息称之为Knowledge(知识)，而学生网络学习迁移来自教师网络的监督信息的过程称之为Distillation(蒸馏)。本课程在YOLOv5 v6.1版本代码的基础上增加知识蒸馏方法，并实际演示针对自己的数据集训练和进行知识蒸馏过程，并讲解原代码针对知识蒸馏的修改部分。本课程分为原理篇、实战篇、代码讲解篇。原理篇包括：知识蒸馏的基础知识、目标检测中知识蒸馏的方法。实战篇包括：PyTorch环境安装、YOLOv5项目安装、准备自己的数据集、修改配置文件、训练学生网络（Yolov5s）、训练教师网络（训练YOLOv5m）、知识蒸馏训练。代码讲解篇包括：知识蒸馏具体修改代码的讲解。
nips14-ssl:NIPS 2014 论文“Semi-Supervised Learning with Deep Generative Models”结果复现代码
06-28
使用深度生成模型重现我们的 NIPS 2014 论文关于半监督学习 (SSL) 的一些关键结果的代码。 DP Kingma、DJ Rezende、S. Mohamed、M. Welling 具有深度生成模型的半监督学习神经信息处理系统的进展 27 ( NIPS 2014 )...
Deep Learning: Practice and Trends [NIPS2017 Tutorial]
03-01
NIPS2017 Tutorial Deep Learning: Practice and Trends 182页 YouTube 视频地址 ：https://www.youtube.com/watch?v=YJnddoa8sHk
SpCo-NIPS 2022 论文阅读详细笔记
10-30
Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum----NeurIPS 2022
nips2017：NIPS 2017上所有受邀的演讲，教程，讲习班和演示的资源列表
02-04
nips2017：NIPS 2017上所有受邀的演讲，教程，讲习班和演示的资源列表
强化学习Nips2020论文下载
11-16
总共178篇，基本涵盖了20年NIps上所有与强化学习相关的文章。 zip压缩包，不要解压密码，261M大小。 看一看顶会论文怎么写的，自己下笔也大概能有个章法，Good Luck！ 勤奋决定天分！
Learning efficient object detection models with knowledge distillation论文笔记
qq_43812519的博客
05-18 1988
论文地址：http://papers.nips.cc/paper/6676-learning-efficient-object-detection-models-with-knowledge-distillation github地址：无 Motivation 本文提出针对目标检测网络的知识蒸馏压缩算法。之前的大多数知识蒸馏压缩算法都用于分类网络，虽然能在保留精度的同时，压缩模型，提升速度，但只在分类任务上得到了印证，在更复杂的object detection上还有待探索。在目标检测任务中，存在特殊的挑战：
关于目标检测的distillation的一点理解
lovep1的博客
10-31 822
1、常见的基本操作 文章代表Learning Efficient Object Detection Models with Knowledge Distillation 如上图所示 ， 首先在teacher-model和student-model的中间层featuemap进行学习和蒸馏，如果遇到st-model和te-model的feature-mapshape不一致时，则使用adaption模块来完成统一，然后计算l2距离。 其次,RPN\RCN部分的分类的暗知识以及回...
论文精读--Learning Efficient Object Detection Models with Knowledge Distillation
最新发布
m0_73202283的博客
04-19 1236
尽管基于卷积神经网络（CNN）的目标检测器在准确性方面取得了显著的提高，但它们往往需要禁止的运行时间来处理图像以用于实时应用。最先进的模型通常使用非常深层的网络和大量的浮点运算。诸如模型压缩之类的工作学习具有更少参数的紧凑模型，但准确性大大降低。在本工作中，我们提出了一种新的框架，使用知识蒸馏和提示学习来学习紧凑且快速的目标检测网络，并改善准确性。尽管知识蒸馏在简单分类设置中表现出了出色的改进，但检测的复杂性提出了新的挑战，例如回归、区域提议和较少数量的标签。
知识蒸馏⚗️ | YOLOv7知识蒸馏实战篇
YOLOv8项目贡献者
11-20 7872
YOLOv7知识蒸馏教程
nips和nids是什么
08-24
NIPS和NIDS都是与网络安全相关的术语。 NIPS代表网络入侵预防系统（Network Intrusion Prevention System）。它是一种安全设备或软件，用于检测和阻止网络入侵攻击。NIPS监控网络流量，并根据预定义的规则和模式...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值