Single-Domain Generalized Object Detection in Urban Scene via Cyclic-Disentangled Self-Distill阅读笔记

(一) Title

论文来源CVPR2022
代码地址:https://github.com/AmingWu/Single-DGOD

(二) Summary

研究背景:

• 在本文中考虑的问题是Single-Domain Generalized Object Detection(Single-DGOD),Single-DGOD解决的是to learn a detector that performs well on many unseen target domains with only one source domain for training,也就是得到能够在不同domain下表现较好的检测器。
• 对于Single-DGOD问题,提取包含了目标内在特点的domain-invariant representation(DIR)是相当重要的。

主要工作:

• 提出cyclic-disentangled self-distillation,首先设计了一个cyclic-disentangled module 能够cyclically从输入图像特征中提取DIR,并通过循环操作来提升disentangled能力。
• 将DIR看成教师模型,设计了一个self-distillation模块来进一步提升泛化能力

实验结果:
在5种天气场景下相比于baseline都取得了性能上的gain,尤其是对于night-sunny场景，本文方法超出了baseline 3%。

(三) Problem Statement

当前目标检测任务通常假设的是训练集和测试集在同一个domain下,当domain发生变换时,就会产生poor generalization,由于domain-shift impact。
如何解决domain-shift impact问题呢？主要的工作集中在domain adaption以及domain generalization两种方法上。

• domain adaption(域自适应)：将数据分布从source domain对齐到target domain，不过存在的两个问题：1.在训练过程中需要同时source和target数据.2.并且当target domain是多个不同的数据分布的混合时,这种方法的表现就比较差。
• Domain Generation(DG):从多个source domain中learning，接着将模型推广到一个unseen的target domain当中去，性能比较依赖source domain的数量,造成了这种方法同样也比较受限制。

为了对上述domain-shift问题进行研究,本文提出了一个问题：Single-Domain Generalization Object Detection(Single DGOD)问题,也就是给定一个场景,使在其上训练的模型能够在unseen target domain上有不错的表现,现有的Domain Generation方法在这个问题上没法得到较好的表现。
当domain-related annotations不能用的时候,如何从输入的图像特征中提取到Domain-invariant Representations(DIR)这个问题目前仍然没有得到很好地解决。

(四) Method

首先,本文设计了一个cyclic-disentangled method来获取DIR,如下图所示：

在循环的前向过程,分别设计了一个Domain-invariant Representations(DIR)和一个Domain-Specific Representations(DSR)提取器,从骨干的feature map中提取DIR和DSR,然后循环的后向过程则是将提取的DIR和DSR作为提取器的输入,再次进行提取。

• 这里可以假设DIR和DSR的提取效果很好,即输入$F_{di}$(DIR)到DIR提取器后能够输出更多地Domain-invariant 表示，同理输入$F_{ds}$(DSR)到DSR提取器之后能够输出更多地Domain-Specific信息。接着最关键的来了,利用一个contrastive loss来约束该假设
• 此外,这里还探究了self-distillaiton，将DIR作为teacher representations，蒸馏集中在DIR和骨干输出的中间特征上,从而使得骨干提取的特征中包含了更多地domain-invariant 信息

这里的设计思想真的是很巧妙啊~~~~

主要的设计包括两个：cyclic-disentanglement以及self-distillaiton
Cyclic Disentanglement

• 使用Faster R-CNN作为基础的检测模型,将骨干ResNet101分成三个部分($E_1,E_2,E_3$),用于进行self-distillation,经骨干输出的特征图为$F_b\in {\mathbf{R}}^{w\times h\times c}$,然后两个Extractor：$E_{DIR}$和$E_{DSR}$分别用来提取$F_{di}\in {\mathbb{R}}^{w\times h\times c}$(DIR)和$F_{ds}\in {\mathbb{R}}^{w\times h\times c}$(DSR),即：
  $$F_{di}=E_{\mathrm{D}\mathrm{I}\mathrm{R}}\left(F_b\right),F_{ds}=E_{\mathrm{D}\mathrm{S}\mathrm{R}}\left(F_b\right)$$
  这里的$E_{DIR}$和$E_{DSR}$是由多个卷积层组成,接着在$F_{di}$上提取一组object proposals $O$,然后通过ROIAlign得到输出$P\in {\mathbb{R}}^{n\times s\times s\times c}$,其中$n$表示proposals的数量,$s$表示proposal的大小,然后在re-disentanglement过程中将$F_{di}$和$F_{ds}$作为输入：
  $$\begin{array}{l}{F}_{i2i}=E_{\mathrm{D}\mathrm{I}\mathrm{R}}\left(F_{di}\right),F_{i2s}=E_{\mathrm{D}\mathrm{S}\mathrm{R}}\left(F_{di}\right)\\ F_{s2i}=E_{\mathrm{D}\mathrm{I}\mathrm{R}}\left(F_{ds}\right),F_{s2s}=E_{\mathrm{D}\mathrm{S}\mathrm{R}}\left(F_{ds}\right)\end{array}$$
  当再次经过Extractor之后,得到的$F_{i2i}$应该比$F_{di}$中包含更多的domain-invariant信息,并且$F_{di}$包含的domain-invariant信息要比$F_{i2s}$多，同理得到的$F_{s2s}$应该比$F_{ds}$中包含更多的domain-specific信息,并且$F_{ds}$包含的domain-specific信息要比$F_{s2i}$。
• 为此,本文定义了global- 以及 instance-level对比损失来约束两个Extractor：
  其中global-level的对比损失为：
  $$\begin{array}{rl}{\mathcal{L}}_{gc}=& -(\log \frac{\exp \left(\mathrm{sim}\left(F_{di},F_{i2i}\right)/\tau \right)}{{\sum }_{j=0}^1\exp \left(\mathrm{sim}\left(F_{di},G[j]\right)/\tau \right)}\\ & +\log \frac{\exp \left(\mathrm{sim}\left(F_{ds},F_{s2s}\right)/\tau \right)}{{\sum }_{j=0}^1\exp \left(\mathrm{sim}\left(F_{ds},D[j]\right)/\tau \right)})\end{array}$$
  这里$G=\left[F_{i2i},F_{i2s}\right],D=\left[F_{s2s},F_{s2i}\right].\tau =1$表示超参数,$\text{sim}(a,b)$表示特征图$a,b$所有元素之间余弦相似度的平均值,这个global-level损失的作用是增加$F_{i2i}$和$F_{i2s}$，$F_{s2i}$和$F_{s2s}$,以及$F_{di}$和$F_{ds}$之间的差异，同时提升$F_{di}$和$F_{ds}$分别提取Domain-invariant和Domain-Specific特征。
• 此外，instance-level对比损失如下：
  $${\mathcal{L}}_{ic}=-\log \frac{\exp \left(\mathrm{sim}\left(P,P_{i2i}\right)/\tau \right)}{{\sum }_{j=0}^1\exp (\mathrm{sim}(P,Q[j])/\tau )}$$
  其中从$F_{di}$中获取到的Object Proposals$P$,在$F_{i2i}$和$F_{i2s}$上接着执行ROIAlignment操作,得到对应的输出$P_{i2i}\in {\mathbb{R}}^{n\times s\times s\times c}$和$P_{i2s}\in {\mathbb{R}}^{n\times s\times s\times c}$,这里$Q=\left[P_{i2i},P_{i2s}\right]$，通过最小化${\mathcal{L}}_{ic}$,能够增加$F_{i2i}$和$F_{i2s}$之间的差异，并且帮助$P$中获取到更多同domain-invariant相关的信息。
  最终的损失函数计算为：
  $${\mathcal{L}}_{cd}={\mathcal{L}}_{gc}+{\mathcal{L}}_{ic}$$

DIR-based Self-Distillation

• 通过Cyclic-disentanglement module,能够得到Domain-invariant Representations,$F_{di}$,将其作为教师特征,用来自蒸馏骨干特征，此时学生特征：$F_{e1}$从骨干$E_1$输出,$F_{e2}$从骨干$E_2$输出,$F_{e3}$从骨干$E_3$输出,这里$F_{e1}$和$F_{e2}$的size和通道数和$F_{di}$是不同的,而$F_{e3}$的size和通道数同$F_{di}$一样
• 这里通过设计$T_1,T_2,T_3$来对$F_{e1}$，$F_{e2}$和$F_{e3}$进行变换，得到输出$F_1\in {\mathbb{R}}^{w\times h\times u},F_2\in {\mathbb{R}}^{w\times h\times v},\text{ and }{F}_3\in {\mathbb{R}}^{w\times h\times c}$,其中$u,v$表示通道数。通过1x1卷积同$F_{di}$进行对齐。
• 设计feature-level和classification-level约束来进行蒸馏,其中feature-level的约束为：
  $$\begin{array}{rl}{\mathcal{L}}_{fc}=\mathrm{dist}\left({\Phi }_1\left(F_1\right),F_{di}\right)& +\mathrm{dist}\left({\Phi }_2\left(F_2\right),F_{di}\right)\\ & +\mathrm{dist}\left({\Phi }_3\left(F_3\right),F_{di}\right)\end{array}$$
  其中${\Phi }_1\in {\mathbb{R}}^{1\times 1\times u\times c},{\Phi }_2\in {\mathbb{R}}^{1\times 1\times v\times c},{\Phi }_3\in {\mathbb{R}}^{1\times 1\times c\times c},dist(\cdot ,\cdot )$表示距离函数,可以用L2-norm进行计算，
• 对于classification-level约束,则是分别在$F_1,F_2,F_3$上进行 Roi-Alignment得到输出为$P_1\in {\mathbb{R}}^{n\times s\times s\times u},P_2\in {\mathbb{R}}^{n\times s\times s\times v}\text{, and }{P}_3\in {\mathbb{R}}^{n\times s\times s\times c}$,接着定义三个分类器，将$P_1,P_2,P_3$输入得到输出概率$y_1,y_2,y_3$,而$y$则是$F_{di}$输出的$P$得到的概率值。class-level损失为：
  $${\mathcal{L}}_{cc}=KL\left(y,y_1\right)+KL\left(y,y_2\right)+KL\left(y,y_3\right)$$
  这里的损失能够帮助$F_1,F_2,F_3$从$F_{di}$中得到类别相关的信息，
• 最终的self-distillation损失为：
  $${\mathcal{L}}_{sd}={\mathcal{L}}_{fc}+{\mathcal{L}}_{cc}$$

整个模型的最终损失为：
$$\mathcal{L}={\mathcal{L}}_{rpn}+{\mathcal{L}}_{cls}+{\mathcal{L}}_{loc}+\lambda \left({\mathcal{L}}_{cd}+{\mathcal{L}}_{sd}\right)$$
其中${\mathcal{L}}_{rpn}$表示RPN损失,用于区分前景和背景,${\mathcal{L}}_{cls},{\mathcal{L}}_{loc}$分别表示类别损失和边界框回归损失,$\lambda =0.01$表示超参数，最终输出是基于$F_{di}$的预测结果的。

(五) Experiment

实验设置

• 使用mAP作为评价指标
• 数据集daytime-sunny 场景从BDD100k中筛选出27708张图片,其中19395张图片用于训练，8313张图片用于测试。night-sunny场景从BDD100k中挑选了26158张图片,dusk-rainy和night-rainy场景使用最近提出的数据集,是对BDD100k中的下雨场景进行了渲染,分别包含了3501和2494张图片，daytime-foggy场景则是从FoggyCityscapes以及Adverse-Weather数据集中选取了3775张图片，在类别方面选取了7个常用类别
• 实现细节：使用Faster R-CNN作为base detector,分别设计了包含三个卷积层的Extractor,$E_{DIR}$和$E_{DSR}$，此外$T_1,T_2,T_3$均由三个卷积层组成,并采用了BN，使用SGD，动量0.9,权重衰减0.0001,学习率设置为1e-3,batch大小设置为4.

本文方法同SW,IBN-Net,IterNorm,ISW进行比较：
Daytime-Sunny Night-Sunny
Dusk-rainy
Night-rainy

Daytime-foggy

(六) Notes

6.1 相关工作介绍

Domain Adaption Object Detection

• 为了解决Domain shift问题,大多数的解决方法是将source domain和target domain的feature-level 特征进行对齐,主要采用的方法是利用对抗生成网络来将源域的样式转换成目标域的样式,通常需要同时获取源域和目标域的数据

Self-distillation 自蒸馏问题

• 是在没有教师网络的情况下,利用自己的知识来训练有效的网络,两种常用的操作包括：基于数据增强的方式以及基于辅助网络的方式。