论文阅读：CVPR2021 | RobustNet: Improving Domain Generalization in Urban-Scene Segmentation via Instance

---

前言

论文链接: https://arxiv.org/abs/2103.15597.

提高深度神经网络对不可见领域的泛化能力对于现实世界中的安全关键应用(如自动驾驶)至关重要。针对这一问题，本文提出了一种新的实例选择性白化损失，以提高不可见区域分割网络的健壮性。文中的方法将特征表示的高阶统计量(即特征协方差)中编码的特定于领域的样式和领域不变的内容分开，并选择性地只删除导致领域漂移的样式信息。如图1所示，我们的方法为(A)低照度，(B)多雨和（C）看不见的结构提供了合理的预测。这些类型的图像不包括在训练数据集中，在训练数据集中，基线显示性能显著下降，这与我们的情况相反。该方法简单有效，在不增加计算开销的情况下提高了各种骨干网络的健壮性。我们在城市场景分割中进行了大量的实验，并展示了我们的方法在现有工作中的优越性。

图一

一、Introduction

当在真实世界中不可见的数据(即目标域)中部署在给定数据集(即源域)上训练的深度神经网络(DNN)时，DNN经常由于域移而无法正常执行。克服这一问题至关重要，特别是对于自动驾驶等安全关键型应用。特别是，真实世界的数据由意想不到的和看不见的样本组成，例如，在不同的光照、恶劣的天气条件下或从不同的位置拍摄的图像。利用有限的训练数据来模拟这样一个完整的数据分布通常是不可能的，因此缩小源域和目标域之间的域差一直是计算机视觉中的一个长期问题。

域自适应(DA)是一种缓解这种域间隙造成的性能下降的方法。通常，DA侧重于使源域分布适应目标域的分布，但它需要访问目标域中的样本，这限制了它们的适用性。当我们将整个现实世界设定为一个目标域时，实际中很难获得完全覆盖该目标域的数据样本。

域泛化(DG)克服了这一限制通过提高DNN对任意不可见区域的健壮性。通常，大多数DG方法通过学习跨多个源域的共享表示来实现这一点。然而，收集这样的多域数据集成本高、劳动强度大，而且性能很大程度上依赖于源数据集的数量。

最近的一项研究表明，DG问题可以通过利用实例归一化层来解决，而不是依赖于多个源域，从而导致简单且具有成本效益的训练过程。实例归一化只对特征进行标准化，而没有考虑通道之间的相关性。然而，许多研究声称特征协方差包含特定领域的风格，如纹理和颜色，这意味着将实例归一化应用于网络可能不足以用于领域泛化，因为没有考虑特征协方差。白化变换是一种去除特征相关性并使每个特征具有单位方差的技术。已经证明，特征白化有效地消除了图像平移、样式转移和域自适应中所示的特定于域的样式信息，从而可以提高特征表示的泛化能力，但在DG中尚未被充分挖掘。然而，简单地采用白化变换来提高DNN的健壮性并不简单，因为它可能会同时消除域特定的样式和域不变的内容。将这两个因素解耦，有选择地去掉特定领域的风格是本文的主要研究范围。

在本文中，提出了一种实例选择性白化损失，通过有选择地去除引起域漂移的信息，同时保持DNN中特征的区分能力，从而缓解了现有白化变换在领域泛化方面的局限性。方法不依赖于显式的闭式白化变换，而是隐式地鼓励网络通过所提出的损失函数来学习这种白化变换，因此所需的计算量可以忽略不计。如图2所示，我们的方法只有选择性地去除那些对光度增强(如颜色变换)敏感的特征协方差。我们在DG环境下使用几个骨干网络进行的城市场景分割实验表明，我们的方法持续提高了DG的性能。

图2.(A)首先识别对光度变换敏感的特征协方差，并检查每组图像的趋势。(B)敏感的协方差：照明(即风格)往往变化很大。(C)不敏感协方差：对场景结构差异(即内容)敏感，但不受光度变换的影响。因此，目标是有选择地只删除可能导致域移的样式敏感协方差。

• 提出了一种基于实例选择性白化损失的领域泛化方法，该方法从特征表示的高阶统计量中分离出领域特定属性和领域不变属性，并选择性地抑制领域特定属性。
• 提出的损失可以很容易地应用到现有的模型中，并且以可以忽略的计算代价显著地提高了泛化能力。
• 将所提出的损失应用于DG环境下的城市场景分割，并从定性和定量两个方面展示了相对于现有方法的优越性。

二、Proposed Method

通过减少白化变换的不良影响来白化特征表示来解决域泛化问题的方法。该方法将协方差分解为编码后的样式和内容，只有样式信息可以有选择地去除，从而提高了领域泛化能力。

Instance Whitening Loss

方法的整个过程。(a)实例标准化。(B)从标准化特征映射导出协方差矩阵。(C)只留下应用白化损失的协方差。(D)应用衡量剩余协方差值与零之间的平均绝对误差的标准。

实例白化(IW)损失公式为：

其中$\mathbb{E}$表示算术平均值，$M\in {\mathbb{R}}^{C\times C}$表示严格上三角矩阵

Margin-based relaxation of whitening loss

实例白化损失将所有协方差元素抑制为零，因此这可能会对DNN内特征的区分能力产生不利影响。为了解决这个问题，我们提出了一种实例松弛白化(IRW)损失，以维持保持区分能力所必需的协方差元素。IRW损失被设计为使得总协方差的期望值位于指定的margin δ 内，而不是接近于零，即，

损失${\mathcal{L}}_{IRW}$允许协方差具有一定的值，因此它为保持区分性特征不变提供了空间。IRW损失的经验效应可以在第5.2.1节中找到。与不包括margin δ的IW损失相比，它表现出更好的性能。然而，这可能是不够的，因为我们不能保证通过差值放宽只保留对推广性能有用的协方差。

Separating Covariance Elements

为了进一步改进我们的方法，我们需要将协方差项分成两组：领域特定的样式和领域不变的内容。我们建议有选择地仅抑制样式编码的协方差，这些协方差会导致域转移。假设域漂移包括颜色和模糊度的变化，我们通过颜色抖动和高斯模糊等光度增强来模拟域漂移

Instance selective whitening loss:(a)根据第$i$个图像$x_i$及其光度变换图像$\tau (x_i)$的协方差矩阵计算方差矩阵V，以识别对变换敏感的那些元素(蓝框)。请注意，这些矩阵是对称的。(B)协方差矩阵$\sum s$被矩阵$\tilde{M}$掩蔽，以通过${\mathcal{L}}_{ISW}$选择性地抑制样式敏感协方差。

首先，我们只将实例标准化层添加到网络中(图3(A))，并在没有白化损失的n个初始时段对其进行训练，以从训练图像中获得协方差矩阵的纯统计量。N是一个超参数，我们经验地将其设置为5。然后，我们从两个输入图像(即原始图像和光度变换图像)中通过推断提取两个协方差矩阵，并根据两个不同协方差矩阵之间的差异来计算方差矩阵。
最后，我们提出了一种实例选择性白化(ISW)损失，它选择性地只抑制样式编码的协方差。

Network architecture with proposed ISW loss

如图5(D)所示，只需将建议的ISW损耗添加到实例归一化层。我们的全部损失被描述为

总结

感觉想法很有意思。从协方差矩阵中的敏感协方差的角度来考虑。从实验结果来看貌似效果还不错。但是源码写的有点糟心。