Model Adaption: Unsupervised Domain Adaption Without Source Data

三、方法
用模型来进行无监督模型适应问题,只有来自源域的预训练预测模型 C C C和无标签的目标数据集 X t X_t Xt,目的是将 C C C适应到带有 X t X_t Xt的目标域。
提出了一个协作类条件生成对抗网络(3C-GAN),在源数据不存在时进行模型适应。除了已有的预训练的 C C C,我们的框架还包括另外两部分:鉴别器 D D D匹配目标分布,随机采样的标签上的生成器 G G G来产生有效的目标风格的训练样本。通过在训练过程中合并生成数据,在目标域上提升了 C C C的性能,反过来还能提升 G G G的生成过程。
还设计了两个正则化项来分别防止适应模型与预训练源模型相差太多和提升目标域上的泛化。 D , G , C D,G,C D,G,C通过 θ D , θ G , θ C \theta_D,\theta_G,\theta_C θD,θG,θC进行参数化。
在这里插入图片描述
3.1 协作类条件GAN
为避免使用源数据进行域适应,提出了协作类条件GAN(3C-GAN)来协同提升生成器 G G G和预测模型 C C C。如图,通过将 C C C合并到GAN框架中实现。与传统的GAN模型不同( G G G前提是仅在噪声向量 z z z成立),我们的 G G G进一步的在一个预定义标签 y y y上成立,即 x g = G ( y , z ) x_g=G(y,z) xg=G(y,z)。与传统GAN不同的(以一种监督方式训练 D D D来区分真实和虚假对),我们的 D D D被优化来从 x g x_g xg中区分 x t x_t xt D D D的目标方程可表达为公式1:
m a x θ d E x t ∼ D t [ l o g D ( x t ) ] + E y , z [ l o g ( 1 − D ( G ( y , z ) ) ) ] max_{\theta_d}E_{x_t\sim D_t}[logD(x_t)]+E_{y,z}[log(1-D(G(y,z)))] maxθdExtDt[logD(xt)]+Ey,z[log(1D(G(y,z)))]
同时,通过生成与 x t x_t xt有相似分布的 x g x_g xg来更新 G G G来欺骗 D D D。因此, G G G的对抗损失 l a d v l_{adv} ladv表达为公式2:
l a d v ( G ) = E

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值