论文阅读《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》

这是一篇风格迁移领域比较出色的文章,他的亮点在于没有采用以前的成对图像进行训练学习映射之后才能进行的风格迁移,而是使用了GAN网络进行一个图像域到另一个图像域的学习,这样就无需大量成对图像的学习。同时为了保证图像映射的正确性,GAN网络采用了循环结构,即从X->Y迁移之后,还要进行Y->X的迁移,在循环训练的过程中完成风格的迁移任务。

1.Introduction

风格迁移任务其实可以更广泛地描述为图像到图像转换,将一个图像从给定场景的一种表示形式x转换为另一种表示形式y,例如,灰度到颜色,图像到语义标签等等,在很多任务中,可能并没有充足的成对图像提供来进行学习,
因此,本文提出了一种无需成对输入-输出示例就能学会在域之间进行转换的算法。假设图像域之间存在某种潜在的关系,虽然缺乏成对样本的监督,但我们可以利用集合层面的监督:给定X域中的一组图像和Y域中的另一组图像,得到一个映射G:X->Y,从而实现X到Y图像域的转换,但这样可能会存一些问题,给定的多个X,我们可能得到相同的对应的Y域图像,而无法一一对应,即对于不同的X我们可能得到相同的映射G,所以为了保证映射的独立性,引入了“循环一致性”,即由映射G可以实现X到Y,再添加一个映射F:Y->X从而实现映射的唯一性。
在这里插入图片描述

2.Loss

在这里插入图片描述标准GAN网络损失,
在这里插入图片描述
循环一致性损失,经生成器生成的图像分别与原图像取1范数
在这里插入图片描述

总体损失等于映射G,F的GAN损失加上循环一致性损失
在这里插入图片描述
在计算时,使用最小二乘法代替对数运算,这种损失在训练中表现得更稳定,并产生更高质量的结果

3.Result

在这里插入图片描述
在这里插入图片描述

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值