TPAMI 2024 | 基于边缘引导的多尺度对比学习GANs用于语义图像合成

题目：Edge Guided GANs With Multi-Scale Contrastive Learning for Semantic Image Synthesis

基于边缘引导的多尺度对比学习GANs用于语义图像合成

作者：Hao Tang; Guolei Sun; Nicu Sebe; Luc Van Gool

源码链接： https://ha0tang.github.io/ECGAN

---

摘要

我们提出了一种新颖的边缘引导生成对抗网络与对比学习（ECGAN）用于具有挑战性的语义图像合成任务。尽管近期社区已经取得了相当大的改进，但由于三个主要未解决的挑战，合成图像的质量还远未达到令人满意的程度。1) 语义标签没有提供详细的结构信息，使得合成局部细节和结构变得具有挑战性；2) 广泛采用的CNN操作，如卷积、下采样和归一化，通常会导致空间分辨率损失，因此无法完全保留原始的语义信息，导致语义不一致的结果（例如，缺失小物体）；3) 现有的语义图像合成方法侧重于从单个输入的语义布局建模“局部”语义信息。然而