DoFE:Domain-oriented Feature Embedding

该文提出DoFE框架,通过结合动态领域知识池和注意力机制,增强CNN对未见目标领域的泛化能力。利用领域相似性学习和聚合特征,以及域代码预测分支进行特征结合,同时采用域代码平滑策略防止过拟合。
摘要由CSDN通过智能技术生成

key : 通过利用多源领域的知识来提高CNN在未见目标领域上的泛化能力。

  • 我们的DoFE框架通过动态丰富图像特征与来自多源领域学习的附加领域先验知识相结合,使语义特征更具辨别性。引入了一个领域知识池来学习和记忆从多源领域提取的先验信息

  • 然后,原始图像特征与领域导向的聚合特征进行增强,这些特征是基于输入图像与多源领域图像之间的相似性在知识池中诱导生成的。

  • 我们进一步设计了一个新颖的领域编码预测分支来推断这种相似性,并采用注意力引导机制动态地将聚合特征与语义特征相结合

在这里插入图片描述
在这里插入图片描述

  • Domain knowledge pool

each item represents the domain prior knowledge of a single training
dataset in source domains. In particular, we employ the discriminative prototype of each source domain as the domain prior information.
在这里插入图片描述
在这里插入图片描述

  • Domain similarity learning

  • Domain-oriented aggregated feature
    在这里插入图片描述

  • Dynamic feature embedding


  • Domain code smooth
    域代码可以指示训练输入图像属于哪个域。因此,我们将域代码预测学习制定为分类问题,并使用源域图像的“域属性”来优化域代码预测分支。

  • 由于来自同一域的所有图像具有相同的域代码,直接的域代码回归容易过度拟合训练域图像

为了缓解这个问题,我们设计了一个域代码平滑策略,通过随机平滑硬性的单热域代码来实现。更具体地说,对于来自第k个源域的第i个输入图像,预测的域代码的硬性单热真值(ydc k,i)可以表示为 其中sk = 1,所有其他项都等于零。我们通过随机扰动sk到[0.8,1.0]范围内,并为其他项分配随机非负值来平滑硬性的单热真值,同时满足以下约束条件:

然后,域代码预测分支的训练可以被视为回归问题。我们使用均方误差(MSE)作为训练目标函数,可以表示为:
在这里插入图片描述
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值