GCAN: Graph Convolutional Adversarial Network for Unsupervised Domain Adaptation CVPR 2019论文笔记

1. GCAN: Graph Convolutional Adversarial Network for Unsupervised Domain Adaptation CVPR 2019

论文链接

1. 主要思想

为实现源域和目标域之间的迁移学习或特征对齐，作者认为有三种重要的信息类型需要学习:数据结构、域标签和类标签。提出了一种端到端的图卷积对抗网络(GCAN)，通过在统一的深度模型中对数据结构、域标签和类标签进行联合建模，实现无监督域自适应。设计了三种有效的对齐机制包括结构感知对齐、域对齐和类中心对齐，能够有效地学习域不变和语义表示，减少域自适应的离散性。
Data Structure：数据结构通常反映数据集的固有属性，包括边缘或条件数据分布、数据统计信息、几何数据结构等。
Domain label：域标签用于对抗域适应方法，可以帮助训练一个域分类器来对源域和目标域的全局分布建模。
Class label：类标签，特别是目标域伪标签，通常被用来强制语义对齐，这可以保证来自不同域的具有相同类标签的样本能够被映射到特征空间附近。

2. main contributions

1.GCAN在无监督域自适应算法中的应用
2. 三种信息的联合建模
3. 三种有效的对齐机制

3. 图卷积对抗网络

1. 整体目标函数：
   
2. 域对齐
   使用域对抗相似损失作为域对齐损失
   
   域分类器$D$的主要作用是判断来自feature extractor$G$的特征是来自源域还是目标域，训练$G$来欺骗$D$。
3. 结构感知对齐
   第一步，用结构分析网络获取mini-batch样本的结构分数。第二步通过CNN提取特征作为GCN网络的输入。
   GCN的构建：CNN提取的特征作为节点特征，链接矩阵$A$由结构分数$X_{sc}$获得
   
   结构分数$X_{sc}$通过triplet loss由源域获得
   
   这里的一个细节是源域和目标域被用来训练同一个GCN网络但是需分开进行。
4. 类中心对齐
   作者指出，特征具有领域不变性（Domain Invariance）与结构一致性（Structure Consistency）并不意味着其具有判别性（Discriminability）。于是，作者利用构建源域/目标域特征的聚类中心保证所学特征的判别能力。
   第一步，通过目标分类器$F$获得目标域的伪标签。第二步，通过有标签样本和伪标签样本计算类中心或形心（centroid）。中心对齐目标函数：
   

4. 实验部分

1. 数据集

1. Office-31：4110张图片31个类，分为3个域，Amazon（A），Webcam（W），DSLR（D），6个迁移任务，A→W, D→W, W→D,A→D, D→A and W→A.
2. ImageCLEF-DA：ImageCLEF 2014 domain adaptation challenge的基准数据集，12个类，三个域Caltrch-256 ©, ImageNet ILSVRC 2012 (I), and Pascal VOC 2012 §。每个类有50张图片，每个域有600张图片，分为6个迁移任务，I→P, P→I, I→C, C→I, C→P and P→C。
3. Office-Home：15500张图片65个类，分为4个域，Art (Ar)，Clipart (Cl)，Product(Pr) ，Real-world (Rw)，分为12个迁移任务。

2. 实验结果