Attention-Guided Generative Adversarial Networks for Unsupervised Image-to-Image Translation
当前的问题及概述:
通过GAN网络针对image-to-image translation任务目前只能转换low-level特征,而不能转换high-level特征,主要原因是生成器无法检测出图像中最能体现语义的部分,从而导致生成的图像质量较差。
针对这一局限性,本文提出了一种基于注意力引导的生成对抗网络(AGGAN),该网络可以在不使用额外数据和模型的情况下,检测出最具辨识性的语义对象,并将不需要的部分变化最小化。AGGAN中的注意导向发生器通过内置的注意机制产生attention mask,然后将输入图像与注意遮罩融合,得到高质量的目标图像。此外,本文还提出了一种新的只考虑被关注区域的注意力引导鉴别器。
上图左边是cycleGAN、DualGAN等框架,右边是本文所提出的AGGAN,AGGAN的生成器可以通过内置的注意模块生成attention mask(Mx和My),然后将生成的attention mask和content mask与输入图像混合,得到目标图像。此外,我们还提出了两种仅考虑被关注区域的注意导向鉴别器DXA和DYA。
模型及loss:
AGGAN: