[2017NIPS]Learning Efficient Object Detection Models with Knowledge Distillation 论文笔记

已于 2022-03-11 21:54:50 修改
阅读量526 收藏 3
点赞数 2
分类专栏： 知识蒸馏 目标检测 文章标签： 深度学习 目标检测
于 2022-03-11 21:39:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45750753/article/details/123434482
版权
本文介绍了将知识蒸馏应用于目标检测的方法，针对前景与背景类别不均衡问题，提出在Faster R-CNN中进行特征和结果的蒸馏。在分类中使用加权交叉熵，回归中设定上限避免错误指导。实验显示，知识蒸馏能显著提升小模型的性能，特别是在大模型作为teacher时效果更佳。
摘要由CSDN通过智能技术生成

目录

Method

将知识蒸馏用在检测方向最大的问题就是前景和背景的类别不均衡问题。

感觉就是很常规的思路，蒸特征+蒸输出，具体是在Faster-RCNN上做。其中蒸特征是使用的FitNet的方法在backbone做，在RPN和分类回归网络(RCN)部分蒸输出，两个部分都同时做分类和回归蒸馏。分类是做了一个weighted交叉熵，回归是做了一个bounded回归损失(即如果学生回归的比老师好，那就没有损失)，再加上GT的损失，构成一个整体。

整体损失如下。同时在RCN和RPN做回归和分类损失是因为Faster-RCNN同时在RCN和RPN都做了回归和分类操作：
总损失

在这里插入图片描述

1.结果蒸馏——分类

和经典的KD算法类似，在RCN和RPN做分类损失包括两个部分，一个部分是分类层的softmax输出与GT的hard label进行交叉熵损失，另一部分是teacher和student网络的soft label交叉熵损失，整体如下所示：
在这里插入图片描述

对于前背景类别严重不平衡的问题，作者认

最低0.47元/天 解锁文章
机器就不学习
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
yolov5知识蒸馏2:目标检测中的知识蒸馏
@bangbang的博客
07-30 2163
本博客介绍目标检测任务中知识蒸馏如何操作，首先介绍下相关的论文。这篇文章是针对进行知识蒸馏的方法，FasterRCNN是一个两阶段的目标检测算法，包括(RPN)和(RCN),这两阶段都用到了classifier和,论文使用教师网络RPN和RCN的输出作为蒸馏的目标，并应用了中间层的输出作为提示Hint图中，上半部分是教师网络，网络中间层的输出叫做Hint知道学生网络中间层输出的学习，中间层一般是featuremap。我们希望student也学习到中简层特征的输出。Tiny-YOLO。...
mobile-yolov5-pruning-distillation:mobilev2-yolov5s剪枝，蒸馏，支持ncnn，tensorRT部署。超轻但性能更好！
03-19
移动式yolov5修剪蒸馏 mobilev2-yolov5s的通道修剪和蒸馏。超轻但性能更好！ TensorRT版本===> Android版本===> 背景 yolov5s在640x640分辨率下的计算量和参数量分别为8.39G和7.07M。在速度上仍然有提升空间，通过替换backbone（mobilenetv2），通道剪枝对模型进行压缩。 。本项目以工程化为基础，主要是模型端的优化。实现了常用的剪枝和蒸馏算法，并完成了一个简单的介绍和评估。将工程可用模型转换成对应的部署版本。 基准线 数据集采用Pascal VOC，训练集= train2007 + train2012 + val2007 + val2012，测试集= test2007，基线采用mobile-yolo（imagenet预训练），如果没有特别说明，第一个模块采用重点如果特定特殊说明则可以使用替换参数，batchsize
【Distilling】《Learning Efficient Object Detection Models with Knowledge Distillation》
bryant_meng
03-06 4553
NIPS-2017 文章目录1 Background and Motivation2 Advantages / Contributions3 Method4 Experiments4.1 Datasets5 Conclusion（own） / Future work 1 Background and Motivation 2 Advantages / Contributions 3 Me...
Knowledge Distillation论文阅读（2）：Learning Efficient Object Detection Models with Knowledge Distillation
qq_42902997的博客
09-24 1390
文章目录AbstractMethod3.1 Overall Structure3.2 Knowledge Distillation for Classification with Imbalanced Classes3.3 Knowledge Distillation for Regression with Teacher Bounds3.4 Hint Learning with Feature Adaption 由于论文中有很多冗余的话，在这篇文章的阅读中，我只总结比较重要的部分，而不再对论文进行逐字逐
论文精读--Learning Efficient Object Detection Models with Knowledge Distillation
m0_73202283的博客
04-19 1311
尽管基于卷积神经网络（CNN）的目标检测器在准确性方面取得了显著的提高，但它们往往需要禁止的运行时间来处理图像以用于实时应用。最先进的模型通常使用非常深层的网络和大量的浮点运算。诸如模型压缩之类的工作学习具有更少参数的紧凑模型，但准确性大大降低。在本工作中，我们提出了一种新的框架，使用知识蒸馏和提示学习来学习紧凑且快速的目标检测网络，并改善准确性。尽管知识蒸馏在简单分类设置中表现出了出色的改进，但检测的复杂性提出了新的挑战，例如回归、区域提议和较少数量的标签。
[2021ICLR]Improve Object Detection with Feature-based Knowledge Distillation 论文笔记
weixin_45750753的博客
03-12 5711
目标检测知识蒸馏
nips14-ssl:NIPS 2014 论文“Semi-Supervised Learning with Deep Generative Models”结果复现代码
06-28
使用深度生成模型重现我们的 NIPS 2014 论文关于半监督学习 (SSL) 的一些关键结果的代码。 DP Kingma、DJ Rezende、S. Mohamed、M. Welling 具有深度生成模型的半监督学习神经信息处理系统的进展 27 ( NIPS 2014 )...
SpCo-NIPS 2022 论文阅读详细笔记
10-30
Nian Liu等人在NeurIPS 2022会议上发表的论文《Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum》正是针对这一问题进行深入探讨。 该论文主要解决了以下几个核心问题： 1. **图...
nips2017：NIPS 2017上所有受邀的演讲，教程，讲习班和演示的资源列表
02-04
nips2017：NIPS 2017上所有受邀的演讲，教程，讲习班和演示的资源列表
NIPS会议文章信息数据（1987-2017）数据集
07-02
该数据集包含了从1987年至2017年NIPS会议的全部论文信息，是研究者们了解历年趋势、分析热点问题和进行论文挖掘的重要资源。 数据集的组成部分主要包括以下几个方面： 1. **论文标题**：每篇论文的标题是其核心...
【没有哪个港口是永远的停留~ 论文简读】2017 Learning Efficient Object Detection Models withKnowledge Distillation
magic_shuang的博客
07-13 289
链接：2017 Learning Efficient Object Detection Models withKnowledge Distillation 这篇论文是基于Faster--RCNN模型的 ，模型中的RPN部分对应图中Soft Label对应部分 RCN部分对应的是最右侧的预测，最终的Loss表示为 一点一点看哈 【1】先看左边的部分，是选取Teacher模型的中间层，以及Student的一个中间层。添加个适应层Adaptation,保证Teacher和Student同尺寸..
目标检测中的知识蒸馏方法
热门推荐
dnty00的博客
07-27 1万+
知识蒸馏 知识蒸馏指的是模型压缩的思想，用压缩之前的模型作为老师，压缩之后的模型作为学生，通过一步一步地使用一个较大的已经训练好的网络去教导一个较小的网络确切地去做什么。“软标签”指的是大网络在每一层卷积后输出的feature map。然后，通过尝试复制大网络在每一层的输出(不仅仅是最终的损失)，小网络被训练以学习大网络的准确行为。 ...........................
Learning Efficient Object Detection Models with Knowledge Distillation论文精读
sinat_22078359的博客
06-15 985
论文：http://papers.nips.cc/paper/6676-learning-efficient-object-detection-models-with-knowledge-distillation.pdf github： 本周阅读了Learning Efficient Object Detection Models with Knowledge Distillation论文，方便日后查阅。 目录 主要工作 3方法 3.1 总体结构 3.2 带有不平衡类别的分类的知识蒸馏...
YOLOv5目标检测之知识蒸馏实战
05-15
PyTorch版的YOLOv5是一个当前非常流行的目标检测器，本课程对YOLOv5进行知识蒸馏实战，来提升其性能。知识蒸馏（Knowledge Distillation）是模型压缩的一种常用的方法。它利用性能更好的大模型的监督信息，来训练一个轻量化小模型，使小模型达到更好的性能和精度。 最早是由Hinton首次提出并应用在分类任务上，这个大模型称之为教师模型，小模型称之为学生模型。来自教师模型输出的监督信息称之为Knowledge(知识)，而学生网络学习迁移来自教师网络的监督信息的过程称之为Distillation(蒸馏)。本课程在YOLOv5 v6.1版本代码的基础上增加知识蒸馏方法，并实际演示针对自己的数据集训练和进行知识蒸馏过程，并讲解原代码针对知识蒸馏的修改部分。本课程分为原理篇、实战篇、代码讲解篇。原理篇包括：知识蒸馏的基础知识、目标检测中知识蒸馏的方法。实战篇包括：PyTorch环境安装、YOLOv5项目安装、准备自己的数据集、修改配置文件、训练学生网络（Yolov5s）、训练教师网络（训练YOLOv5m）、知识蒸馏训练。代码讲解篇包括：知识蒸馏具体修改代码的讲解。
[目标检测知识蒸馏1] [NIPS17] Learning Efficient Object Detection Models with Knowledge Distillation
Zhang Junjian的专栏
08-30 1536
目标检测知识蒸馏
如何提高深度学习中数据运行的稳定性
最新发布
weixin_71458119的博客
08-04 257
在深度学习中，模型的训练通常会受到随机性因素的影响，如参数初始化、数据加载顺序等。这会导致每次训练得到的结果有所不同。通过增加训练轮数（epochs），可以让模型在数据上更充分地训练，从而减少不稳定性。通过设置随机种子，可以使得每次训练过程中的随机性操作（如参数初始化、数据加载顺序等）保持一致，从而提高结果的稳定性。通过 K 折交叉验证，可以更全面地评估模型的性能，从而减少由于训练数据集划分带来的不稳定性。此时要进行修改的是batch_size的大小，指的是一次性选取的样本数量为多少。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值