论文解读:Detach and Adapt: Learning Cross-Domain Disentangled Deep Representation

论文题目:Detach and Adapt: Learning Cross-Domain Disentangled Deep Representation(CVPR2018 spotlight)

论文思路:主要提出跨域表征分离网络CDRD(Cross-Domain Representation Disentangler (CDRD))以及将CDRD和条件图像翻译相结合的拓展网络ECDRD(Extend),然后利用提出的网络解决无监督的分类领域自适应问题,以及条件图像翻译;

网络结构:

优化过程:

注意:该算法的源数据的标注是属性标注,如人脸中的表情标注(戴眼镜等),同时学习出的z是源域和目标域的公共特征空间,z是符合N(0,I)分布;其中ECDRD的结构和DISE的论文结构很像,输入源域和目标域数据,得到z,然后和属性结合自重建和交叉重建,区别是z可以是随机抽样得到,属性是标签,而且有额外的辅助分类器分类属性(借鉴ACGAN和infoGAN);

注意:本论文中属性是标签标注的,z是需要学到的公共特征空间,并且符合N(0,I)分布,在ECDRD中在源域和目标域得到的z需要和N(0,I)分布求KL散度,作为z的loss,同时借鉴论文ICML2016的Autoencoding beyond pixels using a learned similarity metric.衡量自重建的相似性,这也是一种perceptual loss;

可借鉴的地方:

1、本文的KL散度衡量公共特征空间z和N(0,I)分布,类似于DIRT中KL散度衡量随机抽样的属性分布N(0.1)和源域和目标域分离的属性之间的差异;只不过一个是属性空间,一个是特征空间’;2、可以借鉴自重建的感知损失的度量;

实验结果:

数据:

迁移效果:

其中论文只说了在手写字符的图像是16*16的灰度图resize成28*28的灰度图,其他的两个实验没说尺寸的问题,因此本文的条件图像翻译ECDRD在大尺寸的图像翻译上的效果有待考证;

最后做了一个超参数的实验:

lambda是图表中loss中判别器loss的加权值,ECDRD中:可见当网络中有多个loss时,不同loss之间的权重对结果的影响也很大;论文中取lambda=1;

 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值