AAAI 2021 DAST 论文阅读笔记

目录

（1）采用“鉴别器注意策略”和“自我训练策略”

（2）相关工作

（3）鉴别器注意策略

（4）自我训练策略

（5）网络组成

---

论文翻译版： http://t.csdn.cn/5GEOI

论文《DAST: Unsupervised Domain Adaptation in Semantic Segmentation Based on

Discriminator Attention and Self-Training》（AAAI2021）

代码地址： https://github.com/yufei1900/DAST_segmentation

（1）采用“鉴别器注意策略”和“自我训练策略”

① 鉴别器注意策略 包含两个阶段的对抗性学习过程，明确区分对齐良好 ( 领域不变 ) 和对齐不良( 领域特定 ) 特征，并引导模型关注后者。

② 自训练策略 自适应地改进了目标域模型的决策边界，隐式地促进了域不变特征的提取。

（2）相关工作

(Luo et al. 2019b)认为全局对齐源域和目标域会导致信息负传递，并削弱模型在原本对齐良好的区域的性能。因此，他们建议生成一个局部比对分数图，并允许具有不同局部比对分数的区域具有不同的权重（利用注意力机制）。

（3）鉴别器注意策略

在这项工作中，我们提出了一种称为 discriminator attention (DA) 的策略，直接评估局部特征是否难以适应。提出的 DA 策略包括“发现”和“纠正”两个阶段的对抗性学习。在 “发现”阶段，一个鉴别器网络( 也称为发现者， D) 对分割网络的中间特征进行比对，并利用局部比对的置信度形成一个注意图，对特征图进行重新加权，进行标签预测。在“校正”阶段，另一个鉴别器网络( 称为 corrector, C) 根据之前的注意图进一步对分割网络的输出进行校正。如图 1 (b) 所示，模型更关注于领域对齐的难适应区域。

（4）自我训练策略

我们进一步引入一种自训练策略来保证模型的决策边界适合于目标域。经过 UDA 处理后的分割网络的决策边界仍然倾向于源域数据的分布，但在我们应用自训练策略后，这种趋势得到了纠正。具体来说，我们通过使用先前预测生成的伪标签训练分割网络，自适应地改进模型的决策边界。

（5）网络组成

一个分割网络（特征提取 E+ 标签预测 P ），两个鉴别器（discoverer D and corrector C）。经过 E 的 f s （提取出来的特征）和 p s （预测结果）将分别输入到 D 和 C 中进 行特征级和输出级的对抗学习。通过优化对抗损失 L Dadv , 对齐目标域和源域的特征分布（ft 和 fs ），并提供 f t 中每个位置对齐的置信度评分，从而形成一个注意力图 α ，其中α = |(D(ft )| 。

α 将 f t 重新加权到一个新的特征映射 ˆf t = α(f t ) ，它被输入到 P 以产生像素级的预测 p t ，其中 pt = P(ˆf t ) 更关注对齐不好的区域。然后引入校正器 C 在 p t 和 p s 之间进行对抗性学习。为了进一步增强弱对齐区域的适应性，我们使用注意图α 对对抗性损失 L Cadv 进行重新加权。我们引入了一个像素部分的超参数 q ，我们利用 p t 中具有较高置信度的前 q 个像素生成伪标签 ˆp t， 并屏蔽其他不参与梯度反向传播的像素。