翻译论文：Simultaneous Deep Transfer Across Domains and Tasks

跨域和任务的同时深度传输

摘要：

最近的报告表明，在大规模数据集上训练的通用监督深度cnn模型可以减少但不消除数据集的偏差，对新领域中的深度模型进行微调可能需要大量的标记数据，而对于许多应用程序来说，这些数据是根本不可用的。我们提出了一种新的CNN结构来利用无标签和稀疏标签的目标域数据。我们的方法同时优化域不变以促进域迁移，并使用软标签分布匹配损失在任务之间传输信息。我们提出的适应方法提供的经验性能在两个标准的基准视觉域适应任务上，在监督和半监督的适应设置中进行评估的性能超过了先前公布的结果。

1.介绍：

考虑一下由制造商训练的一组机器人，它们使用标准的图像数据库识别数千种常见的物体，然后运往全国各地的家庭。当每个机器人开始 在自己独特的环境中运行，可能会因为域的变化而降低性能。很明显，从新环境中获得足够的额外监督数据， 性能可以恢复。然而，目前最先进的识别算法依赖于高容量卷积神经网络（CNN）模型，这些模型需要数百万的初始训练监督图像。即使是传统的微调深度模型的方法，即微调[14，29]，也可能需要为每个需要调整的对象类别添加数百个或数千个有标签的示例。
这是合理的假设，机器人的新主人将为几种类型的对象标记几个示例，但完全不现实的是，在新的环境中假定全面的监督。因此，我们提出了一种有效地在训练(源)和测试(目标)环境之间的适应算法。通过利用在新环境中收集的无标签数据的一般统计以及从感兴趣类别的子集中收集的少数人工标记示例。我们的方法执行跨域和跨任务的迁移学习(见图1)。直观地说，域迁移是通过使源和目标的边缘特征分布尽可能相似来完成的。任务迁移是通过将从源上学到的经验类别相关性转移到目标域。这有助于保持类别之间的关系，例如，瓶子类似于杯子，但不同于键盘。以前的工作提出了领域迁移的CNN模型[12，24]，但是没有利用学习到的源语义结构来进行任务迁移。

图1.我们通过两种方法将区分类别信息从源域传输到目标域。首先，通过使两者的边缘分布达到最大的域混淆。 域尽可能类似。其次，我们将从源示例中学到的类之间的相关性直接传递给目标示例，从而保留了类之间的关系。

为了支持域迁移，我们使用无标签的目标数据来计算新环境中的估计边缘分布，并显式地优化了一个特征。 使源和目标域分布之间的距离最小化。数据集偏差在计算机视觉中被
Torralba（托拉尔瓦）和Efros(埃弗罗斯）的“命名数据集”游戏所经典地描述。它训练了一个分类器来预测图像来自哪个数据集，从而说明了视觉数据集是视觉世界的有偏差的样本。事实上，这被证明是对域差异度量有正式的连接[21，5]。因此，领域不变性的优化可以看作是学习预测类标签的任务。 同时找到一个表示形式，使域看起来尽可能相似。这一原则构成了我们提出的方法的域迁移组件。我们通过优化损失学到了深刻的特征。 对于既包括标签数据的分类误差，又包括域混淆损失，它试图使域无法区分。

但是，尽管最大限度地将域的边缘分布集中在一起，但它不一定要将目标中的类与源中的类对齐。因此，我们也是明确地将类别间的相似性结构从源迁移到目标，并进一步优化我们的特征，使用少量的目标域标签示例作为参考点在目标域中生成相似的结构。 我们受到先前关于提取深度模型[3，16]的工作的启发，并将这些工作中提出的思想扩展到域适应设置中。我们先计算平均输出概率分布，或“软标签”，在每个类别的源训练示例中。然后，对于每个有标签的目标示例，我们直接优化我们的模型来匹配从类到软标签的分布。通过这种方式，我们可以通过将信息传输到目标域中没有显式标签的类别来执行任务适配。

我们使用图2中描述的一种新的cnn结构联合解决了这两个问题。我们结合了域混淆和Softmax交叉熵损失来训练网络和目标数据。当从每个类别获得少量的目标标记数据时，我们的结构可以用来解决监督适应问题，而在半监督的情况下，当少量的目标标记数据从类别的子集中可用时。 我们对流行的Office基准[28]和最近引入的用于分类的交叉数据集[30]进行了全面的评估，在视觉的不同的领域。我们证明，通过联合优化域混淆和匹配软标签，我们能够超越当前最先进的视觉领域适应结果。

2.相关工作<