【论文速递】TGRS2023 - 用于遥感图像中高效目标检测的实例感知蒸馏

【论文速递】TGRS2023 - 用于遥感图像中高效目标检测的实例感知蒸馏

【论文原文】：Instance-Aware Distillation for Efficient Object Detection in Remote Sensing Images

获取地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10024393

博主关键词： 遥感图像，知识蒸馏，目标检测，实例解耦

推荐相关论文：

-无

摘要：

实际应用要求目标检测模型能够以低开销实现高性能。在这种情况下，知识蒸馏通过将知识从繁琐的教师模式转移到轻量级学生模式来展示有利的潜力。然而，以前的蒸馏方法受到遥感图像中大量误导性背景信息的困扰，而忽略了对不同实例之间关系的研究。在本文中，我们提出了一种实例感知蒸馏（简称InsDist）方法来推导出高效的遥感目标检测器。我们的InsDist结合了基于特征和基于关系的知识蒸馏，以充分利用从教师到学生的知识转移中与实例相关的信息。一方面，我们提出了一个无参数掩码模块，用于在多尺度特征中将与实例相关的前景与与实例无关的背景解耦。另一方面，我们构建了不同实例之间的关系，以增强类内紧凑性和类间分散的学习。学生全面模仿教师的特征和关系，在处理复杂的遥感图像方面产生了相当大的效果。此外，我们的InsDist可以很容易地建立在主流物体探测器上，额外的成本可以忽略不计。在两个大型遥感目标检测数据集（DIOR和DOTA）上进行的广泛实验表明，我们的InsDist在单级和两级以及基于锚和无锚的探测器上都比其他蒸馏方法获得了显着的收益。源代码将在以下网址公开提供： https://github.com/swift1988/InsDist .

关键词 ：遥感图像，知识蒸馏，目标检测，实例解耦。

简介：

由于深度神经网络的强大学习能力，目标检测经历了蓬勃发展[1]，[2]，[3]。随着深度学习的进步，最先进的检测结果也在不断更新。然而，这一进步主要是以越来越大的模型和具有复杂计算的复杂模块为代价的，这使得在低计算场景中的部署相当复杂，例如自动驾驶和空中监视。为了解决实际问题，获得高性能轻量检测器的研究非常重要，并且是一个有前途的课题。

文献中有几种方案旨在实现效率和准确性之间的权衡，包括量化[4]，[5]，[6]，剪枝[7]，[8]，轻量级模型设计[9]，[10]，[11]和知识蒸馏[12]，[13]，[14]。 .在本文中，我们专注于知识蒸馏，其中轻量级学生模型学会模仿重型教师模型的行为。在目前流行的知识蒸馏方法中，学生通过拟合最终分类层的对数[12]或某些中间层的特征[13]从教师那里获得知识。相应地，这两种方法被称为基于logit和基于特征的知识蒸馏（FKD）。

传统的知识蒸馏方法被设计用于图像分类[12]。在目标检测中进行知识蒸馏是一项艰巨的任务，特别是对于复杂的遥感图像[15]。一般来说，由于遥感图像中存在大量误导性背景信息，以前的自然图像解决方案[15]、[16]、[17]、[18]、[19]导致遥感目标检测只是略有改进。 此外，现有的专门用于遥感目标检测的蒸馏方法[20]、[21]忽略了对不同实例之间关系的研究，除了上述模型行为外，还可以提供互补的监督信号。我们将这两个问题详述如下。

遥感影像中大量误导性背景信息：目标检测在计算机视觉中的巨大成功应该在某种程度上归因于一个隐含的先决条件，即有关实例的信息主导了图像中的突出内容。基于前提，已经提出了各种解耦策略[16]，[17]来生成模仿掩码，以将与实例相关的前景与与实例无关的背景解耦。 模仿掩码可以有效地指导学生专注于模仿与实例相关的信息。然而，在涉及遥感图像时，这一先决条件并不成立。如图1所示，与自然图像相比，遥感图像中的实例通常表现出较大的纵横比，方向不一致和比例变化[22]，[23]。场景中的大量背景信息导致用于对象检测的蒸馏难以确定判别部分（即实例及其周围小区域）的优先级，从而倾向于误导分类和回归。

Fig. 1. Examples of remote sensing images (top, DIOR dataset) and natural images (bottom, VOC dataset). The green boxes denote ground truths.

为了解决这个问题，我们提出了一个无参数掩蔽模块，用于将实例相关前景与实例无关背景解耦，以蒸馏遥感目标检测器。我们首先为每个实例推导出一个向量表示，然后使用每个感兴趣区域（RoI）中的特征向量进一步获得每个类的原型。然后，我们通过测量类原型与特征图中所有像素嵌入之间的相似性来获得模仿掩码。模仿掩码中的值相当于像素嵌入的概率，被视为与实例相关的前景，学生在知识蒸馏过程中需要优先考虑。我们让模仿掩码施加在特征金字塔网络（FPN）产生的多尺度特征上[24]。

不同实例之间未开发的关系：不同实例之间的关系记录了先前的语义关联，除了模型行为外，还能够提供互补的监督信号，以促进蒸馏轻量级检测器的分类[25]，[26]。其背后的直觉是，通过利用实例级关系，类内紧凑性和类间分散性自然得到增强。这将是蒸馏遥感目标检测器的好方法，因为众所周知，遥感图像具有高类内差异和低类间差异[27]。然而，现有的遥感物体检测蒸馏方法忽略了对这些有用关系的研究。一个直接的原因是，与图像分类相比，目标检测中的关系构建过程更具挑战性。目标检测任务中使用的图像中通常存在多个实例，并且不同图像的实例数不同。这与图像分类任务不同，在图像分类任务中，图像通常包含单个实例。

为了获得基于关系的知识蒸馏的优势，我们提出了一种简单而有效的策略来构建实例级关系。我们将考虑的范围从单个图像放宽到小批量，并通过测量实例表示之间的相似性来量化关系。

我们的贡献可以概括如下。

• 我们提出了一种实例感知蒸馏（简称InsDist）方法，用于遥感目标检测中的知识蒸馏。我们的 InsDist 通过结合基于特征和基于关系的知识蒸馏来全面开发与实例相关的信息。

• 为了适应遥感图像的复杂数据特征，我们提出了一种无参数掩码模块，用于将实例相关前景与实例无关背景解耦，并提出了一种简单而有效的策略来构建实例级关系。这两种设计仅在训练期间需要，因此在推理过程中不会引入额外的计算。

• 我们的 InsDist 可以轻松构建在主流目标检测器之上，额外成本可以忽略不计。我们的InsDist的有效性和稳健性通过对DIOR [28]和DOTA [22]数据集的严格实验得到验证，并考虑了单级和两级，以及基于锚点和无锚点的检测器。

【论文速递 | 精选】

论坛地址：https://bbs.csdn.net/forums/paper