domain adaptation 之 domain adversarial learning （一）

通过对抗性学习学习域之间的不变性是域适应中的一个策略。如何去设计一个新方法对域进行适应被简化为三个问题：

1. 是否选择基于生成或者辨别的网络；
2. 是否共享网络权重；
3. 选择哪一个对抗学习目标。

论文[1]中介绍了一种域自适应方法，该方法使用了生成对抗网络，共享了网络权重，并选择GRL (gradient reversal layer)学习域之间的不变性特征。接下来对论文[1]进行介绍。

该论文的目的是对显微镜图像(microscopy images, MSI) 进行分类，但是显微镜图像是没有标注的，但是整张切片图像（whole slide images, WSI)是有标注的。作者的想法便是使用WSI对网络进行训练，然后使用训练得到的网络对MSI进行分类。虽然MSI来自WSI，但是MSI只是WSI的局部，也就是说两者的特征空间是有区别的，这时候简单地将WSI训练的网络用在MSI上并不是最佳的选择，所以有必要使用MSI进行辅助训练，使网络能记住WSI、MSI两个特征域的特点，如下图。
文章使用了三组损失函数：focal loss、entropy loss、domain loss。其中focal loss仅对有标注的WSI数据使用，entropy loss与domain loss则对WSI、MSI同时使用。上图中虽然有两个网络通道，但是两个网络的参数是共享的。

标记源域（即WSI域）为 D s = { x i s , y i s } i = 1 n D_s= \{ x_i^s,y_i^s\}_{i=1}^n Ds​={ xis​,yis​}i=1n​，目标域（即MSI域）为 D t = { x i t } i = 1 m D_t= \{x_i^t\}_{i=1}^m Dt​={ xit​}i=1m​。这里使用的focal loss为 L y = − 1 n s ∑ ( x i s , y i s ) ∈ D s ∑ k = 1 C y i , k s log ⁡ ( G y k ( G f ( x i s ) ) L_y= -\frac{1}{n_s}\sum_{(x_i^s,y_i^s)∈D_s}\sum_{k=1}^Cy_{i,k}^s\log(G_y^k(G_f(x_i^s)) Ly​=−ns​1​(xis​,yis​)∈Ds​∑​k=1∑C​yi,ks​log(G