DARE-GRAM : Unsupervised Domain Adaptation Regression by Aligning Inverse Gram Matrices

全文翻译如下：
无监督领域适应回归( DAR )旨在为回归问题弥合有标记源数据集和无标记目标数据集之间的领域鸿沟。最近的工作主要集中在通过最小化源和目标特征之间的差异来学习深度特征编码器。在这项工作中，我们通过分析深度域适应上下文中线性回归器的闭式最小二乘( OLS )解，为DAR问题提供了一个不同的视角。我们提出对齐特征的逆Gram矩阵，而不是对齐原始特征嵌入空间，这是因为它存在于OLS解中，并且Gram矩阵能够捕获特征相关性。具体来说，我们提出了一种简单而有效的DAR方法，该方法利用伪逆低秩特性来对齐两个域的伪逆Gram矩阵生成的选定子空间中的尺度和角度。我们在三个域适应回归基准上评估了我们的方法。实验结果表明，我们的方法取得了最先进的性能。我们的代码可在https://github. com / ismailnejjar / DARE - GRAM获得。

1. Introduction

回归问题是机器学习中的一个基本问题，其中模型学习预测连续变量。回归问题在许多不同的应用中无处不在，包括计算机视觉任务，如头部姿态估计[ 76 ]、人脸特征点检测[ 37 ]、人体姿态估计[ 80 ]、深度估计[ 20 ]和眼动跟踪问题[ 58 ]，也广泛存在于工业应用中，如产品质量预测和状态监测[ 69 ]。然而，现实世界中的应用往往受制于收集数据的环境条件和其他影响因素，数据集之间的领域鸿沟不可避免。
无监督域适应( UDA )旨在克服有标记源域和无标记目标域之间的分布偏移。许多UDA方法被提出来缓解域偏移问题。一种常见的UDA方向是通过对抗学习进行特征对齐[ 45 ]，或者通过最大均值差异[ 44 ]等显式损失学习领域不变表示。输入对齐[ 77 ]和使用伪标签精化的自训练[ 41 ]也是UDA的热门方向。虽然许多DA方法已经被开发和评估用于分类和分割问题，但有些方法不能直接迁移到DA回归[ 10 ]。领域适应回归( DAR )的先驱工作[ 12、46]针对该问题引入了理论分析。提出了一些算法来处理DAR。
例如，重要性加权[ 14、74]和特征对齐[ 7、51]比仅从源学习的结果有所改善。最近的无监督DAR方法[ 10 , 59]使用深度学习框架，通过直接最小化源和目标特征之间的差异来学习一个共享的深度特征提取器。通过这样做，隐含地假设如果特征差异较小，共享线性回归器可以很容易地从源监督中学习。现有工作使用的这种提法只关注特征提取器。
在这项工作中，我们提出从另一个角度来看待DAR问题。特别地，我们密切关注线性回归器，它直接附加在特征提取器之后。受封闭式最小二乘法( OLS )回归解的启发，我们分析了每个领域的潜在最优回归器。我们在3.2节中揭示，即使源特征和目标特征之间的差异很小，由于OLS解中的逆Gram矩阵项，共享线性回归器的学习仍然会很困难。
鉴于此，本文提出了一种基于普通最小二乘法的深度域自适应回归方法( Domain Adapting Regression by Aligning the inverse GRAM matrix，DARE-GRAM )。如图1所示，不同于以往直接对齐特征的方法，我们对齐特征的逆Gram矩阵。这是因为它存在于普通最小二乘的闭式解中。更具体地说，我们利用伪逆的低秩特性来对齐由Gram矩阵产生的尺度和角度的选定子空间，该矩阵表示源域和目标域不同特征之间的强度和成对交互。基于Gram矩阵的尺度和角度对齐可以得到对源数据和目标数据都有更好校准的回归器。本文的贡献如下：

• 我们提供了一个新的视角来理解回归问题的UDA，它利用了线性回归问题的著名闭式解。
• 我们提出了对齐特征的逆Gram矩阵，而不是对齐原始的特征嵌入空间。
• 在三个基准测试集上的实证结果验证了DARE - GRAM比基线方法的优越性。

2 .相关工作

无监督域适应 无监督域适应( UDA ) [ 53 ]的目标是解决有标记源和无标记目标域之间的域迁移问题。UDA已被广泛研究用于分类和分割问题[ 64、66 ]，以缓解不同领域特征之间的差距。早期的工作通过实例加权[ 30、60]、特征变换[ 51 ]和特征空间对齐[ 16 ]来解决这个问题。最近，无监督域自适应取得了令人印象深刻的结果[ 29、49、71]。差异最小化[ 33、44]和领域对抗学习[ 17、28]已被广泛用于UDA方法中，以缓解不同领域特征之间的差距。此外，基于特征正则化的方法[ 9 ]和基于领域归一化的方法[ 8、40]也表现出良好的性能。虽然大多数方法在编码特征空间进行特征对齐，但也有一些工作提出在输入空间进行对齐[ 77 ]。最近，通过使用逐渐改进的目标伪标签[ 42、68、78、79]对网络进行训练，自我训练也展示了令人鼓舞的结果。现有的UDA方法大多关注分类和分割问题。虽然一些UDA技术可以直接应用于回归问题，但最近的工作表明，许多UDA技术在回归模型[ 3、10]中表现不佳。
领域适应进行回归 与分类问题相比，领域自适应回归( DAR )受到的关注相对较少。[ 12、46]中介绍了DAR的早期理论性质。不同的算法被提出来处理DAR [ 55 ]。遗憾的是，大多数算法需要访问带标签的目标域，不适合UDA回归。例如，[ 52,67]探索了Boosting策略，将之前基于AdaBoost [ 47 ]的分类域适应方法扩展到回归任务。在浅层域[ 14、74、75]中的其他实例加权方法已经探索了不同的应用范围。在UDA [ 31、34、36、50]的背景下探索了一些具体的视觉应用，如单目深度估计[ 1,5,43,63]或注视点估计[ 4,26]。然而，这些方法旨在针对特定任务进行改进，而不是针对一般的回归任务。最近的UDA回归工作提出了[ 10、59、72]。RSD [ 10 ]的一个关键发现是，在回归问题中，深度神经网络对特征尺度的鲁棒性不如分类，对齐深度表示的分布会改变特征尺度，阻碍域适应回归。为了应对这一挑战，文献[ 10 ]提出通过引入新的几何距离，在不改变特征尺度的情况下，将两个域的正交基匹配到闭域移位。虽然基于RSD的方法对DAR显示出了改进的结果，但仅匹配特征向量会有一些缺点，如更宽松的数值误差界[ 2 ]，可能不满足更严格的分布估计条件[ 35 ]。与RSD相反，我们提出使用逆Gram矩阵，它携带必要的信息来对齐源和目标特征，同时对批次大小不太敏感。
Gram矩阵和子空间对齐 分布对齐方法已经用于域适应[ 16,62,70]。基于子空间的域适应在视觉域适应[ 23、24]中表现出良好的性能，通过寻找最佳的中间子空间来建模分布变化。这些方法首先为源和目标数据独立地计算一个特定于领域的d维子空间。然后将源数据和目标数据沿着连接Grassmann流形上两个d维子空间的最短测地路径投影到中间数据。文献[ 16 ]的作者不需要计算大量的中间子空间，而是直接对齐两个子空间。进一步地，作者在文献[ 61 ]中提出将分布对齐融入子空间自适应来对齐源和目标特征。鉴于它们之间的密切关系，分布对齐方法也被用于神经风格迁移( NST ) [ 6、32]。早期关于NST的工作[ 19 ]引入Gram矩阵作为特征图的统计量来提取特定风格的属性。尽管排列分布与NST之间的联系可能并不直接，但文献[ 39 ]证明了文献[ 19 ]中的风格损失可以表示为具有二次核的最大均值差异( MMD ) [ 25 ]的无偏经验估计。不同于以往神经风格迁移中直接对齐Gram矩阵的工作，我们提出将逆Gram矩阵对齐，因为它是在OLS解中提出的。我们将在我们的方法和我们的消融研究中表明，这对于回归问题是至关重要的。

3 .方法

3.1。问题定义

在UDA中，给定源域有标记样本${\chi }_s=$ ${\left\{\left(x_s^i,y_s^i\right)\right\}}_{i=1}^{N_s}$ ，目标域无标记样本${\chi }_t={\left\{\left(x_t^i\right)\right\}}_{i=1}^{N_t}$ ，其中$N_s$和$N_t$分别表示${\chi }_s$和${\chi }_t$中的样本数。与分类问题中的离散标签$\mathcal{Y}$不同，本文重点研究回归问题，其中$\mathcal{Y}\subset {\mathbb{R}}^{N_r}$是多维且连续的，$N_r$对应回归任务的数量。$P\left({\chi }_s\right)$ and $P\left({\chi }_l\right)$ 之间的差异是UDA面临的主要挑战之一。我们旨在学习一个模型$F:x\mapsto y$，该模型在目标域上具有很好的泛化性。形式上，我们希望最小化目标数据上的期望误差：
$$\underset{F}{\mathrm{argmin}}{\mathbb{E}}_{\left(x^t,y^t\right)}{\Vert F\left(x^{\iota }\right),y^t\Vert }_2^2,$$
其中$y^t$在训练过程中未知。
通过最小化源样本上的预测和真实标签之间的均方误差损失( Mean Square Error Loss，MSE )，可以利用来自源数据的监督来学习源唯一基线：
$${\mathcal{L}}_{src}=\frac{1}{N_s}\sum _{i=1}^{N_s}{\Vert {\tilde{y}}_s^i-y_s^i\Vert }_2^2,$$
其中${\tilde{y}}_s^n=F\left(x_s^i\right)$ 为训练源图像$x_s^i$的预测值。为了克服源和目标之间的分配差距，需要给出额外的约束条件。

3 . 2 .动机

在深度域适应模型中，给定输入图像$x$，使用特征编码器$h_{\theta }$ 学习$p$ 维的深度表示 z = h θ ( x ) z=h_{\theta}(x)