非监督GAN算法U-GAT-IT大幅改进图像转换效果
复现论文题目:U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation(2019-7-25)
原文
论文复现课程
文章主要解决:
无监督的图像转换的问题,当两个域的图像的纹理和形状差别很大时,现有的一些经典模型(CycleGAN、UNIT、MUNIT、DRIT等)效果不佳,不能很好的到达预期效果,这些算法仅适用于两个差别较小的域,如photo2vangogh和photo2portriat,而cat2dog和selfie2anime(自拍到漫画)效果不好, 本文通过以下方法在几何变形很大的情况下,得到较好的结果:
1、首先是引入注意力机制,这里的注意力机制并不传统的 Attention 或者 Self-Attention 的计算全图的权重作为关注,而是采用全局和平均池化下的类激活图(Class Activation Map-CAM)[2] 来实现的,CAM 对于做分类和检测的应该很熟悉,通过 CNN 确定分类依据的位置,这个思想和注意力是一致的,同时这对于无监督下语义信息的一致性判断也是有作用的,这块我们后续再进行展开。