开放集域适应文献阅读三

1 问题与挑战

  开放集域适应带来了两个挑战：

1. 域之间分布偏移的影响.
2. 目标域中未知类的数据可能会使域自适应模型的性能甚至不如没有自适应的模型。这种现象被称为负转移.

  迭代分配和变换（ATI）研究基于距离的度量，以迭代分配未知样本。开放式反向传播（OSBP）进一步尝试解决源域中没有未知类的问题。这两种方法都需要一些阈值超参数来区分已知类和未知类，而设置超参数还需要目标域类的先验知识。此外，这些方法没有考虑目标域中未知类的比例，这被称为开放性。

2 本文贡献

1. 本文提出了分离适应（STA），这是一种端到端的方法，用于解决不同开放级别下的开放集域适应问题.

3 方法

3.1 OSDA

  源域 D s = { ( x i s , y i s ) } i = 1 n s \mathcal{D}_s=\left\{\left(\mathbf{x}_i^s, y_i^s\right)\right\}_{i=1}^{n_s} Ds​={(xis​,yis​)}i=1ns​​，$n_s$ 个标记的示例. 分布 $p$.
  目标域 ${\mathcal{D}}_t={\left\{{\mathbf{x}}_j^t\right\}}_{j=1}^{n_t}$，$n_t$ 个未标记的示例. 分布 $q$.
  $C_s$ 表示源域中的类别，$C_t$ 表示目标域中的类别，$C_s\in C_t$，$C_{t/s}$ 表示目标域中的未知类.
  开放度：$\mathbb{O}=1-\frac{|{\mathcal{C}}_s|}{|{\mathcal{C}}_t|}$

3.2 Separate to Adapt

3.3 渐进式分离

  为了将目标域中的未知类数据从已知类中分离出来，作者设计了一个由粗到细的过滤措施。作者使用多二元分类器来衡量目标域的样本域源域中的类相似性。每一个二元的分类器都是只由源域的数据训练的。
  所有分类器的loss表示为：
$$L_s=\sum _{c=1}^{|{\mathcal{C}}_s|}\frac{1}{n_s}\sum _{i=1}^{n_s}{L}_{\mathrm{bce}}\left(G_c\left(G_f\left({\mathbf{x}}_i^s\right)\right),I\left(y_i^s,c\right)\right)$$
$L_{bce}$ 表示二值交叉熵损失，$I(y_i^s,c)=1$ if $y_i^s=c$ and $I(y_i^s,c)=0$ otherwise.

  分类器 $G_c$ 输出的为目标域样本被分类为源域中该类的概率，即可表示目标域数据与源域该类的相似性。可以预知：目标域中的未知类的概率一定比目标域的已知类概率要低，而作者使用这些概率的最大值来表示该样本对应的源域中的类别，相应的未知类的相似性就没有已知类的高。

1. 第一种过滤策略是对所有目标样本的相似度进行排序，并选择相似度最高/最低的样本来训练二元分类器 $G_b$。这里只使用具有极端相似性的样本。
2. 另一种过滤策略是将相似度聚类为三个聚类，分别用于最高、中等和最低概率。然后，使用最高概率聚类的平均 $s_h$ 作为已知类别的目标数据的阈值，其中数据具有 $s_j\ge s_h$ 被选入已知的类。我们使用最低概率聚类的平均 $s_l$ 作为未知类数据的阈值，其中数据具有$s_j\le s_l$ 被选入未知类。

  通过多二进制分类器将样本选择为已知和未知类，我们进一步训练二进制分类器 $G_b$ 以精细地分离已知和未知类别。细粒度二进制分类器 $G_b$ 可以如下训练
$$L_b=\frac{1}{\left|{\mathbf{X}}^{\prime }\right|}\sum _{\mathbf{X}\in {\mathbf{X}}^{\prime }}{L}_{\mathrm{bce}}\left(G_b\left(G_f\left({\mathbf{x}}_j\right)\right),d_j\right)$$
${\mathbf{X}}^{\prime }$ 表示多二进制分类器过滤的样本集，$d_j$ 表示目标样本 ${\mathbf{x}}_j\in {\mathbf{X}}^{\prime }$ 标记为已知$（d_j=0）$或未知$（d_j=1）$.

3.4 加权适应

  对于对抗性域自适应部分
  源域的分类损失：
$$L_{\mathrm{cls}}^s=\frac{1}{n_s}\sum _{{\mathbf{x}}_i\in {\mathcal{D}}_s}{L}_y\left(G_y^{1:|{\mathcal{C}}_s|}\left(G_f\left({\mathbf{x}}_i\right)\right),y_i\right)$$
其中 $L_y$ 是交叉熵损失，$G_y$ 是 $|C_s|+1$ 类的扩展分类器，即源域中的 $|C_s|$ 已知类加上目标域中的附加“未知”类。$G_y^{1:|C_s|}$ 表示对应于将每个样本分配给 $|C_s|$ 已知类的概率。

  在上面 $G_b$ 的过滤后，作者并没有将 $G_b$ 分类的输出作为最后结果，而是作为一个权值 $w_j$，使用 $w_j$ 来定义共享标签空间Cs中特征分布的对抗性适应的加权损失.
$$\begin{array}{rl}{L}_d& =\frac{1}{n_s}\sum _{{\mathbf{x}}_i\in {\mathcal{D}}_s}{L}_{\mathrm{bcc}}\left(G_d\left(G_f\left({\mathbf{x}}_i\right)\right),d_i\right)\\ & +\frac{1}{{\sum }_{{\mathbf{x}}_j\in {\mathcal{D}}_t}\left(1-w_j\right)}\sum _{{\mathbf{x}}_j\in {\mathcal{D}}_t}\left(1-w_j\right)L_{\mathrm{bce}}\left(G_d\left(G_f\left({\mathbf{x}}_j\right)\right),d_j\right)\end{array}$$
  此外，需要挑选目标域中未知类的样本，以便为额外的“未知”类训练 $G_f$。基于度量已知类和未知类分离的权重 $w_j$，可以将区分“未知”类的加权损失定义为
$$L_{\mathrm{cls}}^t=\frac{1}{\left|{\mathcal{C}}_s\right|}\frac{1}{{\sum }_{{\mathbf{x}}_j\in {\mathcal{D}}_t}{w}_j}\sum _{{\mathbf{x}}_j\in {\mathcal{D}}_t}{w}_j{L}_y\left(G_y^{|{\mathcal{C}}_s|+1}\left(G_f\left({\mathbf{x}}_j\right)\right),l_{\mathrm{uk}}\right)$$
其中 $l_{uk}$ 是未知类，并且通过训练将具有大权重 $w_j$ 的所有目标样本分配给未知类。类似地，$G_y^{|{\mathcal{C}}_s|+1}$ 是分类器 $G_y$ 将目标样本分配给未知类的概率。

  进一步将熵最小化损失 $L_e$合并到目标域的已知类别上，以保证决策边界包裹目标域中的低密度区域。
$$L_e=\frac{1}{{\sum }_{{\mathbf{x}}_j\in {\mathcal{D}}_t}\left(1-w_j\right)}\sum _{{\mathbf{x}}_j\in {\mathcal{D}}_t}\left(1-w_j\right)H\left(G_y^{1:|{\mathcal{C}}_s|}\left(G_f\left({\mathbf{x}}_j\right)\right)\right)$$
只将目标样本预测为已知类的进行熵最小化，所以使用了 $w_j$ 作为权重。

3.5 训练程序

  将训练过程分为两个步骤，已知/未知分离步骤和加权对抗性适应步骤。
步骤1. 首先训练特征提取器 $G_f$ 和分类器 $G_y$ 来对源样本进行分类。同时，多二进制分类器 $G_c$，$c=1，2，\dots ，|C_s|$ 目标域样本与源域所有类别进行一对多的训练。之后进一步选择目标域中相似性高的、低的输入细粒度 $G_b$ 二元分类器进行训练。
Denote by ${\theta }_f$ , ${\theta }_y$, ${\theta }_b$, and ${\theta }_c{|}_{c=1}^{|C_s|}$ the parameters of $G_f$ , $G_y$, $G_b$, and $G_c{|}_{c=1}^{|C_s|}$. The optimal parameters ${\hat{\theta }}_f,{\hat{\theta }}_b,{\hat{\theta }}_y$, and ${{\hat{\theta }}_c|}_{c=1}^{|{\mathcal{C}}_s|}$ can be found by
$$\left({\hat{\theta }}_f,{\hat{\theta }}_y,{\hat{\theta }}_b,{{\hat{\theta }}_c|}_{c=1}^{|{\mathcal{C}}_s|}\right)=\underset{{\theta }_f,{\theta }_y,{\theta }_b,{{\theta }_c|}_{c=1}^{|C_{si}|}}{\mathrm{argmin}}{L}_{\mathrm{cls}}^s+L_s+L_b$$
步骤2. 在此步骤中，我们实现对抗性自适应，以将目标域中已知类的特征分布与源域对齐，并使用来自未知类的数据训练额外类的 $G_y$。在这一步中，我们继续用源样本训练分类器，以保存来自已知类的知识。使用 ${\theta }_d$ 表示域鉴别器 $G_d$ 的参数，可以如下实现最佳参数：
$$\begin{array}{r}\left({\hat{\theta }}_y,{\hat{\theta }}_d\right)=\underset{{\theta }_y,{\theta }_d}{\mathrm{argmin}}{L}_{\mathrm{cls}}^s+L_{\mathrm{cls}}^t+L_d+\lambda L_e\\ \left({\hat{\theta }}_f\right)=\underset{{\theta }_f}{\mathrm{argmin}}{L}_{\mathrm{cls}}^s+L_{\mathrm{cls}}^t-L_d+\lambda L_e\end{array}$$
λ是一个用于权衡熵损失的超参数。
  利用所提出的自适应分离（STA）模型，我们可以有效地分离目标域中已知和未知类的数据。步骤1拒绝异常值以避免在步骤2中分散未知类的注意力，步骤2执行对抗性调整以使步骤1中的拒绝管道更准确。

4 小结

  本文提出了分离适应（STA），这是一种端到端的方法，用于解决不同开放级别下的开放集域适应问题。作者采用领域对抗性学习框架，并为“未知”类的源分类器再添加一个类。已知类和未知类之间的主要区别在于，已知类与源域的差异仅在于分布偏移，而未知类与源领域的差异更大，存在领域差距和语义差距。基于这一关键观察结果，作者开发了一种由粗到细分离管道组成的渐进分离机制。第一步是用源数据训练多二进制分类器，以估计目标数据和每个源类之间的相似度。在第二步中，选择相似度极高和极低的数据作为已知和未知类的数据，并用它们训练二元分类器，以对所有目标样本进行精细分离。作者在这两个步骤之间迭代，并使用实例级权重来拒绝对抗性域自适应中的未知类样本。

参考文献

[1] Liu H , Cao Z , Long M , et al. Separate to Adapt: Open Set Domain Adaptation via Progressive Separation[C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2020.
[2] https://blog.csdn.net/qq_42325947/article/details/108291866