【论文阅读】Learning Distinctive Margin toward Active Domain Adaptation中categorical-wise margin loss的作用

Categorical-wise margin loss实现了选择那些在源域中与目标域具有类似分类分数的样本进行监督，而忽略那些与目标域分类分数差距较大的样本。这可以通过将损失限制为只在分类分数之间的固定差距范围内计算来实现。具体而言，对于一个样本$x$，假设其属于类别$y$，$s_y(x)$表示网络对于样本$x$在类别$y$上的输出得分，$s_{y^{\prime }}(x)$表示网络对于样本$x$在其他类别$y^{\prime }$上的得分。那么样本$x$的categorical-wise margin loss就可以表示为：

其中$m$是一个预先设定的边缘值，用于限制目标样本和其他类别样本得分之间的差距。如果$s_y(x)$比$s_{y^{\prime }}(x)$加上$m$还要小，那么该样本会被视为hard example，会对模型的学习产生更强的影响。相反，如果两个得分之间的差距大于$m$，则该样本对于损失函数的贡献将被忽略，因为它不太可能对模型的分类决策产生太大的影响。因此，categorical-wise margin loss使模型在选择样本进行监督时更加注重那些在源域和目标域中具有相似分类分数的样本，从而提高了模型的领域自适应能力。