三、方法
用模型来进行无监督模型适应问题,只有来自源域的预训练预测模型 C C C和无标签的目标数据集 X t X_t Xt,目的是将 C C C适应到带有 X t X_t Xt的目标域。
提出了一个协作类条件生成对抗网络(3C-GAN),在源数据不存在时进行模型适应。除了已有的预训练的 C C C,我们的框架还包括另外两部分:鉴别器 D D D匹配目标分布,随机采样的标签上的生成器 G G G来产生有效的目标风格的训练样本。通过在训练过程中合并生成数据,在目标域上提升了 C C C的性能,反过来还能提升 G G G的生成过程。
还设计了两个正则化项来分别防止适应模型与预训练源模型相差太多和提升目标域上的泛化。 D , G , C D,G,C D,G,C通过 θ D , θ G , θ C \theta_D,\theta_G,\theta_C θD,θG,θC进行参数化。
3.1 协作类条件GAN
为避免使用源数据进行域适应,提出了协作类条件GAN(3C-GAN)来协同提升生成器 G G G和预测模型 C C C。如图,通过将 C C C合并到GAN框架中实现。与传统的GAN模型不同( G G G前提是仅在噪声向量 z z z成立),我们的 G G G进一步的在一个预定义标签 y y y上成立,即 x g = G ( y , z ) x_g=G(y,z) xg=G(y,z)。与传统GAN不同的(以一种监督方式训练 D D D来区分真实和虚假对),我们的 D D D被优化来从 x g x_g xg中区分 x t x_t xt。 D D D的目标方程可表达为公式1:
m a x θ d E x t ∼ D t [ l o g D ( x t ) ] + E y , z [ l o g ( 1 − D ( G ( y , z ) ) ) ] max_{\theta_d}E_{x_t\sim D_t}[logD(x_t)]+E_{y,z}[log(1-D(G(y,z)))] maxθdExt∼Dt[logD(xt)]+Ey,z[log(1−D(G(y,z)))]
同时,通过生成与 x t x_t xt有相似分布的 x g x_g xg来更新 G G G来欺骗 D D D。因此, G G G的对抗损失 l a d v l_{adv} ladv表达为公式2:
l a d v ( G ) = E
Model Adaption: Unsupervised Domain Adaption Without Source Data
最新推荐文章于 2023-05-09 17:21:25 发布