key : 通过利用多源领域的知识来提高CNN在未见目标领域上的泛化能力。
-
我们的DoFE框架通过动态丰富图像特征与来自多源领域学习的附加领域先验知识相结合,使语义特征更具辨别性。引入了一个领域知识池来学习和记忆从多源领域提取的先验信息。
-
然后,原始图像特征与领域导向的聚合特征进行增强,这些特征是基于输入图像与多源领域图像之间的相似性在知识池中诱导生成的。
-
我们进一步设计了一个新颖的领域编码预测分支来推断这种相似性,并采用注意力引导机制动态地将聚合特征与语义特征相结合。
- Domain knowledge pool
each item represents the domain prior knowledge of a single training
dataset in source domains. In particular, we employ the discriminative prototype of each source domain as the domain prior information.
-
Domain similarity learning
-
Domain-oriented aggregated feature
-
Dynamic feature embedding
-
Domain code smooth
域代码可以指示训练输入图像属于哪个域。因此,我们将域代码预测学习制定为分类问题,并使用源域图像的“域属性”来优化域代码预测分支。 -
由于来自同一域的所有图像具有相同的域代码,直接的域代码回归容易过度拟合训练域图像。
为了缓解这个问题,我们设计了一个域代码平滑策略,通过随机平滑硬性的单热域代码来实现。更具体地说,对于来自第k个源域的第i个输入图像,预测的域代码的硬性单热真值(ydc k,i)可以表示为 其中sk = 1,所有其他项都等于零。我们通过随机扰动sk到[0.8,1.0]范围内,并为其他项分配随机非负值来平滑硬性的单热真值,同时满足以下约束条件:
然后,域代码预测分支的训练可以被视为回归问题。我们使用均方误差(MSE)作为训练目标函数,可以表示为: