翻译论文:Deep Domain Confusion: Maximizing for Domain Invariance

题外话: 第一次做全文翻译,翻译不好请谅解,多多给予意见。最近在看DDC,顺便就把这篇文章翻译一下。

摘要
  最近的报告表明,在大规模数据集上训练的通用监督深度cnn模型可以减少但不消除对标准基准数据集的偏差。在新的领域中对深度模型进行微调可能需要大量的数据,对于许多应用程序来说,这些数据都是不可用的。我们提出了一种新的cnn体系结构,它引入了一个适应层和一个额外的域混淆损失,学习一种既具有语义意义又具有域不变的表示。此外,我们还显示,可以使用域混淆度量来进行模型选择,以决定适应层的尺寸和在CNN架构中的层的最佳位置。我们提出的自适应方法提供了超过先前公布的结果的经验性能。 在标准基准上视觉领域适配任务。
介绍
数据集偏差 是传统的有监督的图像识别方法中一个众所周知的问题。最近的一些理论和经验结果表明,监督方法的测试误差随测试和训练输入分布之间的差异而增加。在过去的几年中,已经提出了几种用于视觉领域适配的方法, 克服此问题,但仅限于浅层模型。适应深度模型的传统方法是微调;有关最近的示例,请参见。

在少量标记的目标数据上直接微调深度网络的参数是有问题的。幸运的是,经过预先训练的深层模型在新领域确实表现良好。最近, 表明,使用在ImageNet上学习到的深中位特征,而不是更传统的词包特征,有效地消除了某些域自适应集合中的偏差。 在office数据集中。

这些算法将特征从一个大范围内迁移出来。ImageNet,和使用该域中的所有数据作为相应类别的源数据。但是,这些方法无法从深层体系结构中选择特征,而是跨多层选择报告结果。

数据集偏差在计算机视觉中通过托拉尔巴和埃弗罗斯(Torralba and Efros)的“命名数据集”游戏进行了经典的说明。实际上,这被证明与领域差异度量有着正式的连接。 因此,对领域不变性的优化,可以被视为等同于学习预测类标签的任务。当同时找到一个特征时,使得这个领域出现尽可能相似。这一原则构成了我们提议的方法的本质。我们通过优化损失来学习深度特征,这既包括标签数据上的分类误差,也包括域混淆损失。 它试图使域无法区分。

我们提出了一个新的CNN架构(如图1所示),该架构使用自适应层以及基于最大均值差异(MMD)的域混淆损失来自动学习一个特征联合训练优化分类和域不变。我们表明,我们的域混淆度量可以用于选择适应层的尺寸。 在预先训练的CNN架构中,选择一个有效的位置对于一个新的适应层,并对特征进行微调。

我们的体系结构可以用来解决两种1.有监督的适应,当少量标记的目标域数据可用时,和2.无监督自适应,当没有标记的目标训练数据可用时。我们对流行的Office数据集在视觉上不同的领域进行了全面的评估。我们通过对领域混淆和分类的联合优化来证明我们能够显著地超越当前最新的视觉领域适配结果。事实上,对于轻微的姿势、分辨率和照明变化的情况,我们的算法能够在目标域上实现96%的准确率,这表明事实上,我们学到了一种对这些偏差不变的特征。

在这里插入图片描述

图1: 我们的体系结构为分类损失和域不变性优化了深度CNN。当有少量的目标数据可用时,可以对模型进行监督适应训练。 在没有目标标签可用时。我们通过域混淆引入域不变性,引导自适应层深度和宽度的选择。以及微调期间附加的域损失项,它直接最小化了源和目标特征之间的距离。

相关工作:

视觉数据集偏差的概念在【无偏查看数据集偏差。在过程中,CVPR,2011。1,2】中得到推广。近年来,人们提出了许多解决视觉领域适应问题的方法。大家都认识到有一个转变在源和目标数据特征的分布中。实际上,领域转换的大小经常通过源和目标子空间特征之间的距离来测量。大量的方法试图通过学习特征空间变换来克服这个差异,以对准源和目标特征。对于监督适应情景来说,当目标域中有限数量的标记数据是可用的时候,提出了一些方法来学习对源分类进行正则化的目标分类器。其他人试图同时学习特征变换并规范目标分类器。

最近,基于监督卷积神经网络(CNN)的特征

  • 4
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值