【PaddlePaddle论文复现】U-GAT-IT: 基于GAN的新型无监督图像转换

非监督GAN算法U-GAT-IT大幅改进图像转换效果

复现论文题目:U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation(2019-7-25)
原文
论文复现课程

文章主要解决:

无监督的图像转换的问题,当两个域的图像的纹理和形状差别很大时,现有的一些经典模型(CycleGAN、UNIT、MUNIT、DRIT等)效果不佳,不能很好的到达预期效果,这些算法仅适用于两个差别较小的域,如photo2vangogh和photo2portriat,而cat2dog和selfie2anime(自拍到漫画)效果不好, 本文通过以下方法在几何变形很大的情况下,得到较好的结果:

1、首先是引入注意力机制,这里的注意力机制并不传统的 Attention 或者 Self-Attention 的计算全图的权重作为关注,而是采用全局和平均池化下的类激活图(Class Activation Map-CAM)[2] 来实现的,CAM 对于做分类和检测的应该很熟悉,通过 CNN 确定分类依据的位置,这个思想和注意力是一致的,同时这对于无监督下语义信息的一致性判断也是有作用的,这块我们后续再进行展开。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值