【论文笔记】Learning Distinctive Margin toward Active Domain Adaptation(CVPR 2022)

论文：https://arxiv.org/abs/2203.05738
代码：https://github.com/TencentYoutuResearch/ActiveLearning-SDM

摘要

目前主动学习（active learning）的方法不能处理有标注样本和无标注样本存在域差异的情况，而域适应主动学习(active domain adaptation，以下简称ADA)的工作往往需要复杂的标注查询函数的设计，容易陷入过拟合。本文提出了基于可区分边界的选择方法SDM，主要为数据选择设计了最大边界损失和边界采样算法。本文提出的SDM可以被证明可以像SVM的机制类似，存储决策边界附近的难样本，使用他们查找信息量大和可转移的样本作为标注的目标。还提出了两种方法的变种，一个用来动态的调整边界损失的梯度，另一个通过梯度方向来增强边界采样的选择合理性。

1. 介绍

领域自适应的诸多方法被提出用于迁移学习。在现实场景中，获取目标域的所有数据的标注比较难但是获取一小批是可以接受的。ADA被提出用于节省这种场景下的标注。常见的半监督模式下的主动学习一般用于无标注和有标注图像满足同分布的情况，用这种主动学习策略不能应对存在domain gap的场合。

2. Related Work

3. Approach

3.2. Select by Distinctive Margin

定义一个有标签样本的categorical-wise margin loss如公式(1)所示。提取出了真实类别和其他类别有分类概率非常接近的才能被对模型的梯度更新做出影响。另外，模型自然会关注在目标域中的真假类别概率差距比较小的样本，因为这个损失函数对于分类边界的影响在于通过模糊难区分的样本来划分清楚类别的区域。

通过上述损失函数训练之后，计算无标注图像的预测概率margin就可以得到他的模糊性，从而减小了由于源域带标签数据多得多主导了分类边界的问题。

3.2.2 Theoretical Insights

单层线性二分类问题：

定义这里的Signed Local Similarity Indicator为公式（5），认为样本x越像模糊正例，$I(x;s)$越大；越像模糊负例，$I(x;s)$越小。

Proposition 1.梯度下降step之后，代标签的正负样本的真假类别概率被拉的更开了。若一个样本$x_t$的预测概率更倾向于是正例，$p_{+}(x_t)>p_{-}(x_t)$，$I(x;s)$增大（即更像正难例，$p_{+}(x_t)=p_{1\ast }$大），$p_{1\ast }-p_{2\ast }$增大，标注价值Q减小。若$p_{+}<p_{-}$，$I(x;s)$增大（即更像正难例，$p_{+}(x_t)=p_{2\ast }$大），$p_{1\ast }-p_{2\ast }$减小，标注价值Q增大。总而言之（如Figure 1所示），这里的难例的作用类似于SVM中的支持向量，本文给定的边界的范围margin内的难例样本被用来引导选择信息量大的未标注样本，分类器预测概率和$I(x;s)$矛盾的样本将被赋予更高的标注的价值。
Proposition 2.
优化边界损失等价于最小化域H散度的上界。（待详解）

3.3. Variants

动态调整margin loss：
设计margin loss的权重$\alpha$，可以使得回传的梯度关于margin的size成正比。以及加入最大logits约束保证GT类别的梯度对模型的梯度更新有引导，而不是仅仅只由margin loss主导。

梯度方向一致保证尽快收敛：

4. Experiments

骨干网络：pretrained resnet50
域适应主动学习设定：开始仅仅只有源域数据，active da每一轮只选择1%的目标域数据进行标注，选5轮。选择目标域样本标注后，只用带标注的目标域样本进行finetune。一开始用margin loss和交叉熵loss在初始数据训上练10 epochs，然后每进行2 epochs选择一次样本直到标注限额用完。