IMPROVE OBJECT DETECTION WITH FEATURE-BASED KNOWLEDGE DISTILLATION: TOWARDS (2021 ICLR)----论文和博客读书笔记

最新推荐文章于 2022-07-27 23:59:40 发布
最新推荐文章于 2022-07-27 23:59:40 发布
阅读量1.5k 收藏 7
点赞数
分类专栏： 知识蒸馏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46239293/article/details/117960315
版权

IMPROVE OBJECT DETECTION WITH FEATURE-BASED KNOWLEDGE DISTILLATION: TOWARDS ACCURATE AND EFFICIENT DETECTORS

论文链接
BLOG

ABSTRACT

In this paper, we suggest that the failure of knowledge distillation on object detection is mainly caused by two reasons: (1) the imbalance between pixels of foreground and background and (2) lack of distillation on the relation between different pixels.

知识提取在目标检测中的失败主要是由两个原因造成的:
(1)前景和背景像素之间的不平衡；
(2)不同像素之间的关系缺乏提取。

Observing the above reasons, we propose attention-guided distillation and non-local distillation to address the two problems, respectively. Attention-guided distillation is proposed to find the crucial pixels of foreground objects with attention mechanism and then make the students take more effort to learn their features. Non-local distillation is proposed to enable students to learn not only the feature of an individual pixel but also the relation between different pixels captured by non-local modules. Experiments show that our methods achieve excellent AP improvements on both one-stage and two-stage, both anchor-based and anchor-free detectors.

注意引导蒸馏和非局部蒸馏来分别解决这两个问题。
注意力引导提取是通过注意力机制来发现前景物体的关键像素，从而使学生更加努力地学习其特征。
非局部提取的目的是使学生不仅能够学习单个像素的特征，而且能够学习由非局部模块捕获的不同像素之间的关系。
实验表明，我们的方法在基于锚和无锚的单级和两级检测器上都取得了很好的应用改进。

RELATED WORK

在这里插入图片描述
Figure 2: Details of our methods: (a) Attention-guided distillation generates the spatial and channel
attention with average pooling in the channel and spatial dimension, respectively. Then, students
are encouraged to mimic the attention of teachers. Besides, students are also trained to mimic
the feature of teachers, which is masked by the attention of both students and teachers. (b) Non-
local distillation captures the relation of pixels in an image with non-local modules. The relation
information of teachers is learned by students with L2norm loss. © The architecture of non-local
modules. ‘1x1’ is convolution layer with 1x1 kernel. (d) Distillation loss is applied to backbone
features with different resolutions. The detection head and neck are not involved in our methods.
图2:我们的方法的细节:
(1)注意力引导的蒸馏分别在通道和空间维度上平均池化产生空间和通道注意力。然后，鼓励学生模仿老师的注意力。此外，学生还被训练模仿老师的特征，这种特征被学生和老师的注意力掩码。
(2)非局部蒸馏用非局部模块捕获图像中像素的关系。教师的关系信息是由L2norm loss的学生学习的。
(3)非本地模块的体系结构。'1x1 '是具有1x1内核的卷积层。
(d)蒸馏损失适用于不同分辨率的主干特征。我们的方法不涉及检测头和颈部。

Comparison between the proposed attention-guided distillation and other methods.

在这里插入图片描述

如图3所示，之前基于掩模的检测蒸馏方法(王等人，2019)和我们的注意力引导蒸馏之间的差异可以总结为
(i) Our methods generate the mask with attention mechanism while they generate the mask with ground truth bounding boxes and anchor priors.
(一)我们的方法生成具有注意机制的遮罩，同时它们生成具有基础事实边界框和锚先验的遮罩。

(ii) The mask in our methods is a pixel-wise and fine-grained mask while the mask in their method is an object-wise and binary mask.
(二)我们的方法中的掩码是像素级和细粒度掩码，而他们的方法中的掩码是对象级和二进制掩码。

(iii) The masks in our methods are composed of a spatial mask and a channel mask while they only have a spatial mask. More detailed comparison with related work can be found in Appendix.
(三)我们的方法中的掩模由空间掩模和通道掩模组成，而它们只有一个空间掩模。

METHODOLOGY

ATTENTION-GUIDED DISTILLATION

A表示目标检测模型中主干的特征，其中C，H，W分别表示其通道数，高度和宽度
在这里插入图片描述

空间注意图和通道注意图的生成相当于分别求出映射函数:
s---->spatial c---->channel
在这里插入图片描述在这里插入图片描述
特征中每个元素的绝对值意味着它的重要性，我们通过对通道维度上的绝对值求和来构造Gs，通过对宽度和高度维度上的绝对值求和来构造Gc
I，j，k表示A在高度、宽度和通道尺寸上的ith、jth、kth

在这里插入图片描述
在这里插入图片描述
注意力引导蒸馏中使用的空间注意力掩模Ms和通道注意力掩模Mc
在这里插入图片描述
在这里插入图片描述
上标S和T是用来区分学生和老师,T就是Hinton那篇论文的temperature

注意力导向的蒸馏损失LAGD由两部分组成——注意力转移损失LAT和注意力掩码损失LAM

attention-guided distillation loss = attention transfer loss + attention-masked loss
LAGD = LAT + LAM

LAT 用于鼓励学生模型模仿教师模型的空间和通道注意力，可表述为：
在这里插入图片描述
LAM用于鼓励学生通过Ms和 Mc掩盖的L2范数损失来模仿教师模型的特征，该损失可表述为:
在这里插入图片描述

NON-LOCAL DISTILLATION

非局部模块是一种通过捕捉全局关系信息来提高神经网络性能的有效方法。
在本文中，我们应用非局部模块来捕获图像中像素之间的关系，该关系可以被公式化为：
在这里插入图片描述
i，j是要计算其响应的输出位置的空间索引。
i '，j’是列举所有可能位置的空间索引。
f 是用于计算两个像素的关系的成对函数，
g是用于计算单个像素的表示的一元函数。
现在，我们可以将建议的非局部蒸馏损失LNLD引入到学生和教师的关系信息之间的L2损失中，该L2损失可以被公式化为:
在这里插入图片描述

OVERALL LOSS FUNCTION

我们引入三个超参数α，β，γ来平衡不同的蒸馏损失。总蒸馏损失可表述为:
在这里插入图片描述

EXPERIMENT

4.1 EXPERIMENTS SETTINGS

这里原文可以具体看看细节，这里作者预训练模型且微调了，这里两级的检测和一级的检测的超参数给定。

4.2 EXPERIMENT RESULTS

在这里插入图片描述
在这里插入图片描述

4.3 ABLATION STUDY AND SENSITIVITY STUDY

  • Ablation study：
    attention-guided distillation (LATand LAM) and non-local distillation (LNLD) 一起用效果会更好
    在这里插入图片描述

  • Sensitivity study on hyper-parameters：
    indicating that our methods are not sensitive to the choice of hyper-parameters
    在这里插入图片描述

  • Sensitivity study on the types of non-local modules：
    indicating our methods are not sensitive to the choice of non-local modules

在这里插入图片描述

DISCUSSION

在这里插入图片描述

CONCLUSION

为了提高目标检测模型的性能，本文提出了两种知识提取方法，包括注意引导提取和非局部提取。
注意力引导蒸馏利用注意力机制从整个特征图中找到关键像素和通道，然后使学生能够更多地关注这些关键像素和通道，而不是整个特征图。
非局部提取蒸馏使得学生不仅能够学习单个像素的信息，还能够学习由非局部模块捕获的不同像素之间的关系。
通过9种模型的实验，包括两阶段模型、一阶段模型、无锚模型和基于锚的模型。此外，我们还对目标检测中的师生关系进行了研究。
我们的实验表明，教师和学生的平均成绩之间有很强的正相关关系。高AP教师检测器在知识提炼中起着至关重要的作用。这种观察与之前图像分类中的结论有很大不同，在图像分类中，一个非常高精度的教师模型可能会损害知识提炼的性能。

落了一地秋
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 11
    评论
专栏目录
Teacher-free-Knowledge-Distillation:知识提炼
05-12
无师傅知识蒸馏 本文实施：通过标签平滑正则化重新审视知识， arxiv和CVPR2020中的论文有不同的标题：通过标签平滑正则化和重新访问知识蒸馏（CVPR）的无教师框架（arxiv）来重述知识蒸馏，我们将以正确的标题更新arxiv版本。 我们的工作表明：当神经网络过于强大而无法找到更强大的教师模型，或者计算资源仅限于训练教师模型时，可以应用“自我训练”或“手动设计的正则化”。 例如，ResNeXt101-32x8d是一个功能强大的模型，在ImageNet上具有88.79M参数和16.51G FLOP，为该学生训练更强大的教师模型非常困难或计算昂贵。 我们的策略可以将这种强大的学生模型进一步提高0.48％，而无需在ImageNet上进行额外的计算。 同样，当将具有34.53M参数的功能强大的单一模型ResNeXt29-8x64d作为学生模型时，我们的自训练实现在CIFAR100上实现
目标检测（Object Detection）总览
qq_35608277的博客
08-08 2791
http://www.tongtianta.site/group?group_id=1 https://blog.csdn.net/u014380165/article/details/80784147 《An Analysis of Scale Invariance in Object Detection - SNIP》 arXiv：https://arxiv.org/abs/1711....
目标检测经典论文——YOLO论文翻译：You Only Look Once: Unified, Real-Time Object Detection（YOLO：统一的实时目标检测）
bigcindy的博客
07-30 3599
You Only Look Once: Unified, Real-Time Object Detection YOLO：统一的实时目标检测 Joseph Redmon*, Santosh Divvala*†, Ross Girshick¶, Ali Farhadi*† University of Washington*, Allen Institute for AI†, Facebook AI Research¶ http://pjreddie.com/yolo/ ...
论文笔记（六）【特征金字塔】Feature Pyramid Networks for Object Detection
WhiffeYF的博客
12-14 1047
《Feature Pyramid Networks for Object Detection》这篇论文主要解决的问题是目标检测在处理多尺度变化问题是的不足，现在的很多网络都使用了利用单个高层特征(比如说Faster R-CNN利用下采样四倍的卷积层——Conv4，进行后续的物体的分类和bounding box的回归)，但是这样做有一个明显的缺陷，即小物体本身具有的像素信息较少，在下采样的过程中极易被丢失，为了处理这种物体大小差异十分明显的检测问题，经典的方法是利用图像金字塔的方式进行多尺度变化增强，但这样会
目标检测中的知识蒸馏方法
dnty00的博客
07-27 1万+
知识蒸馏 知识蒸馏指的是模型压缩的思想，用压缩之前的模型作为老师，压缩之后的模型作为学生，通过一步一步地使用一个较大的已经训练好的网络去教导一个较小的网络确切地去做什么。“软标签”指的是大网络在每一层卷积后输出的feature map。然后，通过尝试复制大网络在每一层的输出(不仅仅是最终的损失)，小网络被训练以学习大网络的准确行为。 ...........................
IMPROVE OBJECT DETECTION WITH FEATURE-BASEDKNOWLEDGE DISTILLATION: 论文和源码阅读笔记
lovep1的博客
11-23 2333
paper：https://openreview.net/pdf?id=uKhGRvM8QNH code：https://github.com/ArchipLab-LinfengZhang/Object-Detection-Knowledge-Distillation-ICLR2021 1、摘要： 开篇paper提到kd之所以在目标检测上的失败主要是两个原因：1、前景和背景之间的像素不平衡。 2、缺乏对不同像素之间的关系的蒸馏。基于这两个原因，本文提出了注意力引导机制和non-local机制来..
[2021ICLR]Improve Object Detection with Feature-based Knowledge Distillation 论文笔记
weixin_45750753的博客
03-12 5691
目标检测知识蒸馏
论文笔记：ICLR 2021 Combining Lable Propagation And Simple Models Out-Performs Graph Neural Network
qq_44015059的博客
02-05 2185
前言： 本文的作者认为对于 GNN 的可解释性不足。基于此，作者在节点分类任务上提出可以通过将忽略图结构的浅层模型与两个利用标签结构中相关性的后处理方法相结合，超越或匹配最先进的 GNN 。具体如下: (i)误差相关性：传播训练数据中的残余误差以纠正测试数据中的错误信息 (ii)预测相关性：在测试集数据上进行平滑预测 作者将整个过程称为 Correct and Smooth (C&S)。其中后处理步骤是通过对早期的基于图的半监督学习方法的标准标签传播方法进行修改实现的。该方法实现了惊人的性能提升，在
Knowledge Distillation论文阅读（2）：Learning Efficient Object Detection Models with Knowledge Distillation
qq_42902997的博客
09-24 1351
文章目录AbstractMethod3.1 Overall Structure3.2 Knowledge Distillation for Classification with Imbalanced Classes3.3 Knowledge Distillation for Regression with Teacher Bounds3.4 Hint Learning with Feature Adaption 由于论文中有很多冗余的话，在这篇文章的阅读中，我只总结比较重要的部分，而不再对论文进行逐字逐
检测知识蒸馏
weixin_41803339的博客
10-23 585
0、序言 常用的模型优化方法分为基于结构设计和非结构设计两种方法，结构设计类的包括mobilenet、ghostnet、peleenet、efficientnet、shufflenet、vovnet等等都充分考虑了计算效率和资源，专为边缘计算设备和移动端设备而生。除此之外的非机构设计的优化方法有知识蒸馏、模型量化和模型减枝，其中知识蒸馏的方法最为简单有效，已经被广泛应用到分类任务，但检测的知识蒸馏方法却很少，这里介绍一种基于特征响应的检测知识蒸馏方法。 1、论文 论文题目： 《IMPROVE OBJECT
awesome-knowledge-distillation:很棒的知识提炼
04-01
很棒的知识提炼 =============================== 文件 ，LK Hansen，P。Salamon，1990年 ，安德烈斯·克罗格（Andres Krogh），杰斯珀·韦德尔斯比（Jesper Vedelsby），1995年 ，A。Blum，T。...
Knowledge-Distillation:博客https
05-08
我将知识从Xception转移到MobileNet-0.25和SqueezeNet v1.1。 结果： 模型准确性， ％ 前5个准确度，％ 对数损失Xception 82.3 94.7 0.705 MobileNet-0.25 64.6 85.9 1.455 带KD的MobileNet-0.25 66.2 86.7 1.464 ...
Knowledge-Distillation-Toolkit:基于PyTorch和PyTorch Lightning的知识蒸馏工具包
03-18
该工具包基于和 ，因此，教师模型和学生模型必须是，数据加载器也必须是。 演示版 我们提供了两个使用此工具包并压缩机器学习模型的演示。在这些演示中，我们展示了如何创建学生和教师模型，推理管道，培训和验证...
attention-feature-distillation:（表演，参加和蒸馏的官方实施
05-23
显示，参加和提取：通过基于注意的特征匹配进行知识提取pytorch官方实现要求Python3 PyTorch（> 1.2.0） 火炬视觉麻木枕头训练我们在/trained/wrn40x2/model.pth包含受过训练的WRN-40-2参数。 在学生网络为WRN-16-2...
Object Detection(目标检测神文)---3
热门推荐
03-23 2万+
Object Detection on Mobile Devices Pelee: A Real-Time Object Detection System on Mobile Devices intro: ICLR 2018 workshop track intro: based on the SSD arxiv: https://arxiv.org/abs/1804.06882 ...
ICLR 2021 KNOWLEDGE DISTILLATION
_liuzt的博客
03-03 911
IMPROVE OBJECT DETECTION WITH FEATURE-BASED KNOWLEDGE DISTILLATION: TOWARDS ACCURATE AND EFFICIENT DETECTORS学习笔记 ICLR2021 Introduction 大多数为图像分类设计的知识蒸馏网络在目标检测任务中效果不好，原因是： 前景和背景像素之间不平衡 缺乏对不同像素之间关系的提炼 基于以上两个原因，本文分别做了以下工作： attention-guided distillation
Tensorflow Object Detection库使用及训练预测自己的数据集
jiugeshao的专栏
04-12 3331
接着前面系列博客接着讲，此篇来介绍下tensorflow的模型库的使用，当前安装tensorflow的时候，models中库不会自动安装，可能对比pytorch，大家会觉得tensorflow自带的object detection模型好少，其实不然。下面就对tensorflow的models中的objection模块进行一个详细的使用介绍。 https://github.com/tensorflow/models/tree/master/research/object_detectionhttps://g
目标检测：Object Detection with Deep Learning: A Review
WaitFoF
10-06 2671
文章目录1. INTRODUCTION2. A BRIEFOVERVIEW OFDEEPLEARNING3. 通用目标检测A. Region Proposal Based Framework:基于区域提案的框架1） R-CNN2） SPP网络3） Fast R-CNN4) Faster R-CNN5) R-FCN6) FPN7） Mask R-CNN8） 多任务学习、多尺度表示和上下文建模9） 基于深度学习的目标检测思考B. Regression/Classification Based Framework
深度学习论文阅读目标检测篇（四）中英文对照版：YOLOv1《 You Only Look Once: Unified, Real-Time Object Detection》
与君共勉，一起学习
05-06 1199
深度学习论文阅读目标检测篇（四）：YOLOv1《 You Only Look Once: Unified, Real-Time Object Detection》中英文对照版Abstract 摘要1. Introduction 引言2. Unified Detection 统一的检测2.1 Network Design 网络设计2.2 Training 训练2.3 Inference 推断2.4 Limitations of YOLO YOLO 的缺点3. Comparison to Other Dete
data-free knowledge distillation with soft targeted transfer set synthesis
最新发布
09-26
数据免费知识蒸馏与软目标传输集合合成是一种通过利用现有数据集来提高深度神经网络的性能的方法。这种方法主要包括两个步骤：知识蒸馏和软目标传输集合合成。 首先，知识蒸馏是指将一个已经训练好的大型模型的知识转移到一个小型模型中。这样做的好处是，小型模型可以通过利用大型模型的知识来提高其性能。知识蒸馏的过程包括将大型模型的输出（一般是概率分布）作为目标分布，然后使用目标分布和小型模型的输出之间的交叉熵作为损失函数进行训练。通过这种方式，小型模型可以学习到大型模型的知识，并提高其性能。 其次，软目标传输集合合成是指通过合成新的目标数据集来进一步提高小型模型的性能。这是通过将已有数据集中的样本与大型模型的输出结合起来产生的。具体而言，对于每个样本，使用大型模型进行预测，并根据预测结果以及训练集中的标签来合成一个新的目标分布。然后，再次使用目标分布和小型模型的输出之间的交叉熵作为损失函数进行训练。通过这种方式，小型模型可以进一步学习到大型模型的知识，并提高其性能。 总之，数据免费知识蒸馏与软目标传输集合合成是一种提高深度神经网络性能的有效方法。通过利用已有的数据集和大型模型的知识，可以帮助小型模型更好地学习并提高其性能。这种方法在许多领域中都有广泛的应用，例如计算机视觉、自然语言处理等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值