Domain Adaptive Object Detection for Autonomous Driving under Foggy Weather

Abstract

大多数自动驾驶的物体检测方法通常假设训练和测试数据之间的特征分布一致，但当天气差异显著时，情况并非总是如此。在晴朗天气下训练的目标检测模型在大雾天气下可能由于域间隙而不够有效。本文提出了一种新的雾天自动驾驶领域自适应目标检测框架。我们的方法利用图像级别和对象级别的自适应来减少图像风格和对象外观的领域差异。我们的方法利用图像级别和对象级别的自适应来减少图像风格和对象外观的领域差异。为了进一步增强模型在具有挑战性的样本下的能力，我们还提出了一个新的对抗性梯度反转层，用于对困难样本进行对抗性挖掘和领域自适应。此外，我们建议通过数据扩充生成一个辅助域，以实施一种新的域级度量正则化。

Introduction

自动驾驶在智能交通系统中有着广泛的应用，如提高全天候自动工作方式的效率、降低人工成本、增强客户的舒适性等[23，49]。借助计算机视觉和人工智能技术，物体检测在自动驾驶中发挥着至关重要的作用，以了解周围的驾驶场景。在某些情况下，自动驾驶汽车可能在复杂的住宅和工业区工作。不同的天气条件可能会使这些环境中的物体检测更加困难。例如，在住宅和工业区使用供暖、燃气、煤炭和车辆排放物可能会产生更频繁的雾天或雾天，这对安装在自动驾驶汽车的目标检测系统时一个巨大的挑战。许多深度学习模型，如Faster R-CNN[37]、YOLO[36]，在自动驾驶方面取得了巨大成功。然而，这些众所周知的方法大多假设训练和测试数据的特征分布是均匀的。当考虑到现实世界的不同天气条件时，这种假设可能会失败。这种退化是由不同天气条件之间的特征域差距引起的，因为模型不熟悉目标域上的特征分布，而在雾天条件下，通过域自适应可以提高检测性能。领域适应作为迁移学习的一种技术，是为了减少不同天气之间的领域转换。本文提出了一种新的领域自适应框架，以实现雾天下自动驾驶中鲁棒的目标检测性能。
受[5，15]的启发，我们的方法利用图像级和对象级自适应来联合减少图像风格和对象外观的域差异，这是通过涉及图像级和目标级域分类器来实现的，以使我们的卷积神经网络能够生成域不变的潜在特征表示。具体而言，领域分类器旨在最大限度地区分不同领域产生的特征的概率，而检测模型期望生成领域不变特征来混淆分类器。
本文还讨论了以前的领域自适应方法所忽略的两个关键见解：

• 不同的训练样本可能具有不同的挑战性水平，需要在迁移学习过程中充分利用，而现有的工作通常会忽略这种多样性
• 以往的域自适应方法只考虑源域和目标域进行迁移学习，而到第三相关域的域级特征度量距离可能会被忽略。
  本文主要贡献如下：
• 我们提出了一种新的基于深度迁移学习的雾天自动驾驶领域自适应对象检测框架，包括图像级和对象级自适应，该框架使用标记的晴朗天气数据和未标记的雾天天气数据进行训练，以增强基于深度学习的对象检测模型的泛化能力。
• 提出一种新的AdvGRL对困难阳历执行对抗性挖掘结合领域自适应来进一步增强模型迁移学习的能力。
• 在迁移学习过程中，我们提出了一种新的域级度量正则化方法。通过生成具有数据扩充的辅助域，确保了源域、辅助域和目标域之间的域级度量约束作为迁移学习过程中的正则化。

Related work

Domain adaptation for object detection

领域自适应可以减少不同域之间的差异，从而允许在源域上训练的模型适用于未标记的目标域。以往的领域自适应工作主要集中在图像分类任务上[44-46，53]，而近年来，越来越多的方法被提出来解决对象检测的领域自适应问题。如果来自不同域的特征被对齐，则可以获得域自适应检测器。从这个角度来看，Chen等人[5]引入了一种域自适应更快的R-CNN框架，以从图像级别和实例级别减少域间隙，随后利用图像和实例的一致性来提高跨域鲁棒性。另一方面，一些作品试图通过图像风格转换方法来解决领域自适应问题。Shan等人[41]首先使用图像翻译模块将图像从源域转换到目标域，然后在目标域上使用对抗性训练来训练对象检测器。Hsu等人[21]选择逐步翻译图像，并在对抗性训练阶段增加加权任务损失，以解决图像质量差异的问题。以前的领域自适应方法通常在相同的挑战水平上处理训练样本，而我们使用advGRL进行对抗性硬示例挖掘以改进迁移学习。此外，我们生成了一个辅助域，并应用域级度量正则化来避免过拟合。

Method

Domain-level Metric Regularization：此外，我们涉及一个辅助域来施加一个新的域级度量正则化，以强制不同域之间的特征度量距离。.所有三个领域，即源、目标和辅助领域，将在训练期间同时使用。
Image-level features:也就是主干提取后的特征
object-level feature:也就是特征融合后的特征即颈部特征

Image-level adaptation

图像级域表示是从主干特征提取中获得的，包含丰富的全局信息，如风格、尺度和照明，这些信息可能会对检测任务产生重大影响。因此，引入了域分类器来对即将到来的图像级特征的域进行分类，以增强图像级全局对齐。域分类器只是一个具有两个卷积层的简单CNN，它将输出一个预测来识别特征域。对域分类器使用二进制交叉熵损失：

Object-level Adaptation

除了不同领域的图像级全局差异外，不同领域的对象在外观、大小、颜色等方面也可能不同。在本文中，我们将Faster R-CNN中ROI池层之后的每个区域提议定义为潜在对象。与图像级自适应模块类似，在通过ROI池检索对象级域表示后，我们实现了对象级域分类器来识别来自局部信息的特征推导。一个训练有素的对象级分类器，一个具有3个完全连接层的神经网络，将有助于对齐对象级特征分布。同样，也使用二进制交叉熵损失。

Adversarial Gradient Reversal Layer

GRL（梯度反转层）：原始GRL用于图像分类任务的无监督域自适应。具体来说，它在前向传播期间保持输入不变，并在训练期间反向传播到前方的基础网络时，通过将其乘以负标量来反转梯度。训练域分类器以最大化识别域的概率，同时优化前面的基础网络以混淆域分类器。通过这种方式，获得了域不变特征，实现了域自适应。GRL的正向传播定义为：
R_λ(v)=v，
v是输入特征向量，R_λ表示前向传播函数,GRL操作
GRL的反向传播定义为：

I是识别矩阵，λ是负标量。
原始的GRL在训练迭代时设置一个常量或者一个变化的-λ。但是，该设置忽略了一个观点，即在迁移学习过程中，不同的训练样本可能具有不同的挑战性水平。因此，本文提出了一种新的AdvGRL来对困难的例子进行对抗性挖掘，并结合领域自适应，以进一步增强模型在具有挑战性的例子下的迁移学习能力。简单的将λ替换成了λ_adv
L_c是域分类的损失，α是判断训练样本是否有挑战性的阈值，β是溢出阈值，以避免在反向传播中产生过大的梯度。λ0=1作为固定参数。换言之，如果域分类器的损失Lc较小，则可以更容易地识别训练样本的域，其特征不是期望的域不变特征，因此这种训练样本是域自适应的更难的例子。
λadv和Lc的关系如图3所示。
AdvGRL有两个效果：

• AdvGRL可以在反向传播过程中使用负梯度来混淆域分类器，从而生成域不变特征；
• AdvGRL可以对困难的例子进行对抗性挖掘，以进一步增强具有挑战性的例子下的模型泛化能力。在我们的域自适应对象检测框架中，所提出的AdvGRL应用于图像级和对象级域自适应。

Domain-level Metric Regularization

现有的领域自适应方法主要侧重于从源领域S到目标领域T的迁移学习，忽略了第三相关领域可能带来的潜在好处。为了解决这一问题，并因此额外涉及不同域之间的特征度量约束，我们在迁移学习期间为域级度量正则化引入了一个辅助域。基于源域S，我们可以应用一些先进的数据扩充方法来生成辅助域A。对于自动驾驶场景，可以从清晰的天气数据中合成不同天气条件下的训练数据，然后合成我们架构的三个输入图像可以是对齐图像。例如，我们使用高级数据增强方法RainMix生成辅助域。与包括将数据扩充到源/目标域的其他方法不同，通过生成具有数据扩充的辅助域，确保了源域、辅助域和目标域之间的域级度量约束。

img，obj分别代表图像级适应模块和对象级适应模块,reg域级度量正则化。
表中分析，加一个其实就够了。