【论文笔记】Cross-Domain Few-Shot Object Detection via Enhanced Open-Set Object Detector

原文地址

  Cross-Domain Few-Shot Object Detection via Enhanced Open-Set Object Detector

主要内容（待更新）

Abstract

  本文研究了具有挑战性的跨域小样本目标检测（CD-FSOD），旨在研发在极少标签样本的新域仍精确的目标检测器。当基于transformer的开放集（open-set）检测器，如DE-ViT在传统小样本目标检测表现较好时，它在CD-FSOD上的推广仍不明确：（1）这样的开放集检测方法能够轻易地泛化到CD-FSOD吗？（2）如果不能，面对巨大的域差，模型应该怎样改进增强？为解答第一个问题，我们使用了风格、类间方差（ICV）和无法定义的边界（indefinable boundaries，IB）等方法来衡量域差。基于这些测量方法，建立新的基准（benchmark），名为CD-FSOD，用于评估目标检测方法。它揭示了大部分现有的方法都不能在跨域上泛化。从技术上讲，我们观察到效果变差和前面提出的测量方法：风格、ICV和IB有关。因此，提出了几个新的模块解决这些问题。一，可学习实例功能使初始固定实例域目标类别一致，增强特征独特性。二，实例重新赋权值模块将更高的重要性赋予低IB值的高质量实例。三，域提示器可以在不改变语义内容的情况下通过合成假想域弹性地将特征设置成不同样式。这些技术共同促进了跨域视觉Transformer（Cross-Domain Vision Transformer）到CD-FSOD（CD-ViTO）的发展，极大地提升了DE-ViT。实验数据证明了我们模型的有效性。数据集和代码可以从http://yuqianfu.com/CDFSOD-benchmark.获得。

1 Introduction

2 Related Works

3 CD-FSOD: Setup, Metrics, and Benchmark

3.1 Task Configurations

  任务公式化。形式上，给出源数据集，记为 D S = { I , y } \mathcal{D}_S = \{I, y\} DS​={I,y}，$y\in {\mathcal{C}}_S$，分布为${\mathcal{P}}_S$；给出新的目标数据集，记为 D T = { I , y } \mathcal{D}_T = \{I, y\} DT​={I,y}，$y\in {\mathcal{C}}_T$，分布为${\mathcal{P}}_T$。和FSOD一样，CD-FSOD支持带标签数据，因为源类${\mathcal{C}}_S$有大量标签实例，但是${\mathcal{C}}_T$中每个新目标类的实例只有少量标签实例。所有目标类对于模型来说都是新的（没见过的），即${\mathcal{C}}_S\cap {\mathcal{C}}_T=\varnothing$。此外，不同于FSOD模型假设源数据的分布${\mathcal{P}}_S$与目标数据的分布${\mathcal{P}}_S$一致，CD-FSOD模型采取了更切实际的假设：${\mathcal{P}}_S\ne {\mathcal{P}}_T$。模型在${\mathcal{D}}_S$上训练，在${\mathcal{D}}_T$上测试。
  N-way K-shot协议。为评估CD-FSOD模型的FSL（Few-Shot Learning，小样本学习）能力，采用N-way K-shot评估协议。具体来说，对于${\mathcal{C}}_T$中的每个新类，提供K个标签样本，称为支持集$S$；其余无标签样本作为查询集$Q$。数学形式为$|S|=N\times K，N=|{\mathcal{C}}_T|$。
  训练策略。采用“预训练，微调，测试”的流水线，这在很多CD-FSL方法中使用过。该流水线具体为：先在源数据集${\mathcal{D}}_S$上训练，然后使用来自目标数据集${\mathcal{D}}_T$的少量的支持集$S$微调可训练参数，最后在查询集$Q$上测试。训练和微调的典型目标函数有边界框回归损失和类别损失。

3.2 Metrics for Domain Difference

  我们意图通过以下3个方面评估数据集来解决困难与挑战。
  风格。我们识别风格在各种域相关的任务如域适应、域泛化以及跨域小样本学习中的核心作用。常见的风格有：真实，卡通，素描等等。
  类间方差（Inter-class variance, ICV）。ICV，学习任务中广泛使用的度量标准，衡量不同类之间的差异性。ICV值越高越容易识别语义标签。比较粗糙的数据集如COCO的ICV值较高，而细粒度的数据集的ICV值较低。
  无法定义的边界（Indefinable Boundaries, IB）。IB，借自伪装目标检测领域，反映出目标物体与背景的混淆程度。高混淆度为目标检测器带来困难与挑战。例如，检测干净背景中的人比较简单直接，但识别珊瑚礁中的鱼就非常困难了。我们将ICV值分为大、中、小3个级别，IB值分为轻微、中度、重度3个级别。数据集的ICV和IB级别测量方法的相关细节请见追加材料。

3.3 Benchmark of Different Domains

  基于风格、ICV和IB度量方法，我们仔细地审查并重构了现有的目标检测数据集，构建了基准（benchmark）CD-FSOD。该基准包括7个数据集。COCO，目标检测任务广泛使用的数据集，它提供了大量的物体类别，例如人、动物、交通工具以及各种日常生活物品，用作${\mathcal{D}}_S$。其他6个数据集包括ArTaxOr，Clipart1k，DIOR，DeepFish，NEUDET和UODD，用作${\mathcal{D}}_T$。这些数据集的部分样本以及对应的风格、ICV和IB级别如图2所示。注意，DeepFish只有一个类别，所以没有ICV值。更多关于数据集的细节请见追加材料。

4 Methodology

4.1 Overview of CD-ViTO

  初步认识（Preliminary）。DE-ViT通过使用源于预训练大模型的可视化特征以及解决定位和分类任务的方式构建开放集检测器。基础DE-ViT的流水线如图3（a）的蓝色箭头所示。它主要包括一个预训练的DINOv2 ViT，一个区域候选网络（$M_{RPN}$），一个ROI（Region of Interest，感兴趣区域）对齐模块（$M_{ROI}$），一个检测头（$M_{DET}$），和一个一对多（one-vs-rest）分类器（$M_{CLS}$）。具体来说，给出查询图像$q$和支持集$S$，DE-ViT首先使用DINOv2提取实例特征 F i n s = { F i n s o b , F i n s b g } F_{ins} = \{F_{ins}^{ob}, F_{ins}^{bg}\} Fins​={Finsob​,Finsbg​}，其中$F_{ins}^{ob}$表示来自$S$的前景目标的特征，$F_{ins}^{bg}$表示背景的特征。然后$F_{ins}^{ob}$对目标类别数取平均、$F_{ins}^{bg}$保持不变，得到类别原型 F p r o = { F p r o o b , F i n s b g } F_{pro} = \{F_{pro}^{ob}, F_{ins}^{bg}\} Fpro​={Fproob​,Finsbg​}。对于查询图像$q$，DE-ViT对其使用DINOv2、$M_{RPN}$和$M_{ROI}$生成候选区域$R_q$、视觉特征$F_q$和ROI特征$F_{q_{roi}}$。接着，$R_q$、$F_q$和$F_{pro}$作为$M_{DET}$的输入，完成定位任务得到${\mathcal{L}}_{loc}$。在此期间，$M_{CLS}$基于$F_{q_{roi}}$和$F_{pro}$完成分类任务得到${\mathcal{L}}_{cls}$。通过${\mathcal{L}}_{loc}$和${\mathcal{L}}_{cls}$两个损失函数优化网络。
  据说，DE-ViT不需要微调就能检测任何新类物体，但是实验表明它在跨域的目标数据集上不能泛化。这就是提升DE-ViT的跨域识别能力、形成新方法的动机。注意，DE-ViT的基本组件包括：DINOv2、$M_{RPN}$、$M_{ROI}$、$M_{DET}$、$M_{CLS}$、${\mathcal{L}}_{loc}$和${\mathcal{L}}_{cls}$，这些在FSOD任务上确实有效并直接应用在本文的框架中。本文提出的方法CD-ViTO如图3（a）中橙色增强高亮部分所示。在小节1部分曾说明CD-FSOD的域差与目标数据集的ICV、IB和风格有密切关系。因此，这启发我们通过处理这些特征设计CD-ViTO。于是，提出了新组件可学习实例特征（$M_{LIF}$）、实例重赋权（$M_{IR}$）、域提示器（$M_{DP}$）分别处理小ICV、重度IB以及变换风格。此外，微调（FT）已经在跨域相关的任务中探索过，但是在本文的基准中还是探讨了它。
  具体来说，给出$S$和$q$作为输入，执行与DE-ViT相同的流程获得实例特征 F i n s = { F i n s o b , F i n s b g } F_{ins} = \{F_{ins}^{ob}, F_{ins}^{bg}\} Fins​={Finsob​,Finsbg​}，候选区域$R_q$，视觉特征$F_q$和ROI特征$F_{q_{roi}}$。但是不同于直接对$F_{ins}^{ob}$取平均获得类原型$F_{pro}^{ob}$，首先使用$M_{LIF}$将已经计算好的$F_{ins}$转为可学习的特征，然后通过执行分开的检测任务（即${\mathcal{L}}_{loc}$监督的定位任务和${\mathcal{L}}_{c}ls$监督的分类任务）将其改变为$F_{ins}^{lea}$¹。因为在训练数据打上了类别的标签，这个优化（应该是指$M_{LIF}$）会将实例特征与对应的类别对齐，从而提高特征的辨识度、解决ICV小的问题。接着考虑到图像质量，尤其是目标实例的IB，使用$M_{IR}$给$F_{ins}^{lea}$中的目标权重重新赋值，得到新的原型$F_{pro}^{\prime }$。一般情况下，$M_{IR}$会给IB级别为轻微的高质量实例分配更高的权重。这样高质量实例对它的类原型贡献更大。$M_{IR}$放置在$M_{LIF}$之后，使用相同的${\mathcal{L}}_{loc}$和${\mathcal{L}}_{cls}$优化。此外，为使模型在变换的风格上具有更好的鲁棒性，提出了$M_{DP}$用于合成几个虚拟域$F_{domain}$。$M_{DP}$的目的是引入域扰动并使特征在不同域之间保持一致。为保证引入的域的多样性并约束这些域不会影响特征的语义，引进了另一个损失${\mathcal{L}}_{dp}$。$M_{DP}$放置在被$M_{IR}$重赋权的原型，即$F_{pro}^{\prime }$之上，而${\mathcal{L}}_{dp}$和${\mathcal{L}}_{loc}$、${\mathcal{L}}_{cls}$一同作用。
  至于微调操作，只微调前2个模块，即$M_{DET}$和$M_{CLS}$。尽管这简单，但是它在为CD-FSOD使用开放集检测器的情境下仍值得探讨。实验结果（5.2小节）同样表明了该方法的必要性。总体而言，CD-ViTO通过可学习实例特征、实例重赋权和域提示器等有用的干扰以及微调关键组件解决了跨域问题。所有引进的参数（图3（a）中火焰图标部分）是轻量级的，优化它们的目标函数$\mathcal{L}$是：
$$\mathcal{L}={\mathcal{L}}_{loc}+{\mathcal{L}}_{cls}+{\mathcal{L}}_{dp}(1)$$

4.2 Key Components of Our CD-ViTO

  可学习实例特征$M_{LIF}$。可学习实例特征$M_{LIF}$的实现十分简单和高效。给出计算好的实例特征$F_{ins}\in {\mathcal{R}}^{(N\times K+N_{bg})\times D}$，其中$N$、$K$、$N_{bg}$、$D$分别表示目标类别数、样本数、背景实例数、视觉特征的维度，而$M_{LIF}$定义了新的可学习矩阵$F_{ins}^{lea}$，该矩阵维度与$F_{ins}$相同并使用$F_{ins}$初始化。数学表达为：$F_{ins}^{lea}\in {\mathcal{R}}^{(N\times K+N_{bg})\times D}$，$F_{ins}^{lea}=F_{ins}$。通过优化$F_{ins}^{lea}$的值，获得与目标语义信息对齐得更好的实例特征。可学习实例特征的想法与视觉提示学习相对应，视觉提示学习旨在调整输入以更好地适应下游任务。而在本文中，提出了通过设置关键实例特征为可学习参数来调整它们的方法。更重要的是，该模块作为使特征具有更好的辨识度的方法，能够更好地处理低ICV的目标数据。
  实例重赋权模块$M_{IR}$。$M_{IR}$使得高质量目标实例，例如IB轻度级别的目标，对类别原型的贡献（影响）更大。$M_{IR}$的结构如图3（b）所示。$M_{LIF}$输出可学习实例特征$F_{ins}^{lea}$，首先拿到$F_{ins}^{lea}$中的目标实例特征，记为$F_{ins}^0\in {\mathcal{R}}^{(N\times K\times D)}$。$M_{IR}$有2条使用残差方式连接的路径。更具体地，居于下方的路径输入$F_{ins}^0$，进入MLP模块并得到权重分数，该分数用于下一步与$F_{ins}^0$的初始值加权求和，得到半成品的原型$F_{pro}^{att}\in {\mathcal{R}}^{N\times D}$。居于上方的路径对$F_{ins}^0$取平均得到$F_{pro}^{avg}\in {\mathcal{R}}^{N\times D}$。最后，目标原型$F_{pro}^{o{b}^{\prime }}$计算方式为：$\alpha fc(F_{pro}^{att})+(1-\alpha )F_{pro}^{avg}$，其中$fc(\cdot )$是一层全连接层，$\alpha$是超参数。最终利用目标原型$F_{pro}^{o{b}^{\prime }}$和背景特征，形成新的原型$F_{pro}^{\prime }$。
  域提示器（Domain Prompter）$M_{DP}$。为使目标原型特征$F_{pro}^{o{b}^{\prime }}$在不同域上具有鲁棒性，需要达到两个目标：（1）合成几个多样性的“域”；（2）使用这些“域”作用于特征时避免语义漂移。为实现这些目标，$M_{DP}$先引进几个可学习向量$F_{domain}\in {\mathcal{R}}^{N_{dom}\times D}$作为视觉域，然后提出若干损失函数用作监督。该“提示器（prompter）”的设想与提示调优（prompt tuning）相关但又有所不同。值得注意的是，这两种方法都使用可训练参数作为提示器，但是一般的提示调优方法通过高效的调整促进预训练模型的转换，而本文引入提示器是用作扰动。$M_{DP}$的图示如图3（b）所示。$N_{dom}$是超参数。具体来说，给定$F_{domain}$和$F_{pro}^{o{b}^{\prime }}$，首先提出域域差异性损失${\mathcal{L}}_{domain}$，确保不同域，如$f^{d_i}$和$f^{d_j}$，之间是完全不同的。其次，对于$F_{pro}^{o{b}^{\prime }}$中的一个原型$f_{p_i}$，从$F_{domain}$采样出两个不同的域$f^{d_k}$和$f^{d_m}$，用来随机扰动$f_{p_i}$形成两个扰动原型$f_{p_i}^{d_k}$和$f_{p_i}^{d_m}$。扰动操作通过叠加特征，如$f_{p_i}^{d_k}=f_{p_i}+f^{d_k}$，完成。域$f^{d_m}$同样地与其他目标原型叠加形成$f_{p_j}^{d_m}$，其中$j=1,\dots ,N$。同时约束$f_{p_i}^{d_k}$和$f_{p_i}^{d_m}$接近，但是不同类别原型得到的扰动原型之间是不同的。这就引申出原型一致性损失${\mathcal{L}}_{proto}$。${\mathcal{L}}_{domain}$和${\mathcal{L}}_{proto}$均由InfoNCE loss实现，公式如下：
$$\begin{gathered} {\mathcal{L}}_{domain}=-\frac{1}{N_{dom}}\sum _{i=1}^{N_{dom}}\left(\log \frac{\exp (f^{d_i}\cdot f^{d_i}/\tau )}{{\sum }_{j=1}^{N_{dom}}\exp (f^{d_i}\cdot f^{d_j}/\tau )}\right)(2) \\ {\mathcal{L}}_{proto}=-\frac{1}{N}\sum _{i=1}^N\left(\log \frac{\exp (f_{p_i}^{d_k}\cdot f_{p_i}^{d_m}/\tau )}{{\sum }_{j=1}^N\exp (f_{p_i}^{d_k}\cdot f_{p_j}^{d_m}/\tau )}\right)(3) \end{gathered}$$其中$\tau$是温度超参数（temperature hyperparameter）。此外，扰动特征也做了分类，如$f_{p_i}^{d_k}$和对应的类标签之间引申出新的交叉熵损失函数${\mathcal{L}}_{prot{o}_{cls}}$。基于${\mathcal{L}}_{domain}$、${\mathcal{L}}_{proto}$和${\mathcal{L}}_{prot{o}_{cls}}$，有：
$${\mathcal{L}}_{dp}={\mathcal{L}}_{domain}+{\mathcal{L}}_{proto}+{\mathcal{L}}_{prot{o}_{cls}}(4)$$

5 Experiments

5.1 Evaluated Methods

5.2 Main Results on CD-FSOD

5.3 Analysis on the Proposed Modules

6 Conclusion

7 Implementation Details（此节开始为追加内容）

8 More Results

8.1 Results on Standard FSOD

8.2 Ablation Results on Each Module

8.3 More Visualization Results

8.4 More Discussion with Related Works

9 More Details of Proposed Benchmark

9.1 Target Datasets

9.2 Domain Metrics

---

1. 原文为“But different from directly averaging $F_{ins}^{ob}$ to obtain class prototypes $F_{pro}^{ob}$ for objects, we first utilize our $M_{LIF}$ to make the precalculated $F_{ins}$ learnable and adapt them as $F_{ins}^{lea}$ by performing the disentangled detection tasks i.e., the localization task supervised by ${\mathcal{L}}_{loc}$ and the classification task supervised by ${\mathcal{L}}_{cls}$. ”，这句意思我不确定“by”后面的方式有没有作用到“and”前面的“make learnable”事件。 ↩︎