（CVPR2020）Model Adaptation: Unsupervised Domain Adaptation without Source Data总结

Model Adaptation: Unsupervised Domain Adaptation without Source Data

本文提出一个新的问题，没有源域数据的无监督领域自适应问题。

说是没有源域数据，其实指的是在Domain Adaptation的过程中不使用源域数据。以本文为例，它仍然使用了使用源域数据预训练出的分类模型。

模型结构

本文主要结构包括三个部分，生成器$G$，特征提取器和分类器$C$以及判别器$D$

特征提取器和分类器$C$首先使用使用源域数据进行预训练得到一个原始模型。

生成器$G$使用的是类似$CGAN$的条件生成网络，输入包括分类类别$y$和噪声向量$z$。（$CGAN$中，使用的噪声向量是从一个均值为0，方差为1的高斯分布中随机采样得到）

判别器$D$与传统的$GAN$中的相似，用来判别特征向量来自哪个域

损失函数

针对判别器$D$的损失函数与传统的相同，即需要判别器可以区分出真实数据和生成数据

$ma{x}_{{\theta }_D}(E_{x_t\sim D_t}[logD(x_t)]+E_{y,z}[log(1-D(G(y,z)))]$

生成器$G$与判别器$D$形成对抗

$l_{adv}(G)=E_{y,z}[log(1-D(G(y,z)))]$

（论文中这里写的是$l_{adv}(G)=E_{y,z}[logD(1-G(y,z))]$，我感觉他这里写错了）

除此以外，本文还有个用于约束G的损失函数，目标是让生成器可以更好地生成第$y$类的样本。方式是让生成的样本通过$C$之后得到的分类结果中，第$y$类的得分更高，使用交叉熵约束（类似于交叉熵分类损失）

$l_{sem}(G)=E_{y,z}[-y\cdot log(p_{{\theta }_C}(G(y,z)))]$

对于生成器$G$，总的损失函数为

$mi{n}_{{\theta }_G}(l_{adv}+{\lambda }_s{l}_{sem})$

对于分类器$C$，我们同样需要使用损失函数对其进行约束

首先是需要将G生成的样本正确分类，所以同样需要使用约束$G$的损失函数$l_{sem}$进行约束x`

同时文章还使用了两个损失函数来约束$C$

首先为了使$C$的参数相对于使用源域数据训练出的模型参数不要过大，使用损失函数$l_{wReg}$约束。使用该损失函数的理由是我们训练仍然要在源域数据的基础上，否则很容易让模型不收敛，毕竟我们目标域的数据不含有标签。

$l_{wReg}=||{\theta }_C-{\theta }_{C_s}|{|}^2$

第二个约束为，我们希望分类器对于数据有轻微扰动的时候，分类结果变化不大（这个我觉得挺新颖的）

就是对于一个输入$x_t$，我们给它加上一个小于某个阈值的扰动$r$，变成$x_t+r$，其分类结果应该类似，用损失函数约束为

$E_{x_t\sim D_t}[ma{x}_{||r||\le \epsilon }(KL(p_{{\theta }_C}(x_t)||p_{{\theta }_C}(x_t+r)))]$

本文使用的是KL散度来约束分类结果的相似度

这里我没有弄懂的点在于这个扰动应该如何去求解，让后面KL散度的值最大，先挖个坑。

之后同样使用了熵约束的方式，让分类器对于$x_t$的分类结果尽量集中在某一个类上，即让分类的结果的某一个类别得分较高，而其他的都较低。（这个就是无标签数据分类的常用约束函数，与分类约束类似，只是因为目标域没有标签信息，无法使用交叉熵约束，只能使用这种约束）

$E_{x_t\sim D_t}[-p_{{\theta }_C}(x_t)log(p_{{\theta }_C}(x_t))]$

最后的损失函数为

$l_{cluReg}=E_{x_t\sim D_t}[-p_{{\theta }_C}(x_t)log(p_{{\theta }_C}(x_t))]+E_{x_t\sim D_t}[KL(p_{{\theta }_C}(x_t)||p_{{\theta }_C}(x_t+\tilde{r}))]$

$\tilde{r}$为求解出来的最佳的扰动（这里就是上面没弄懂的咋求出的），猜测是梯度下降求解得到，但这会使整个模型的收敛速度变慢很多

最终对于$C$的损失函数为

$mi{n}_{{\theta }_C}{\lambda }_g{l}_{gen}+{\lambda }_w{l}_{wReg}{\lambda }_{clu}{l}_{cluRen}$

伪代码

说实话，在伪代码中，我仍然没看懂这个扰动$r$到底怎么求出来的…