[论文阅读]Semantic Segmentation with Generative Models

标题

Semantic Segmentation with Generative Models:
Semi-Supervised Learning and Strong Out-of-Domain Generalization

链接：

https://openaccess.thecvf.com/content/CVPR2021/html/Li_Semantic_Segmentation_With_Generative_Models_Semi-Supervised_Learning_and_Strong_Out-of-Domain_CVPR_2021_paper.html

核心内容：
训练一个Generator，以图片作为输入，输出原图+语义分割图

贡献：翻译自原文

(i)我们提出了一种新的语义分割生成模型，它建立在最先进的StyleGAN2的基础上，并自然地允许半监督训练。据我们所知，我们是第一个用纯生成方法处理语义分割，直接建模联合图像-标签分布的工作。
(ii)我们在医学领域和人脸图像上广泛地验证了我们的模型。在半监督设置下，我们证明了结果等于或优于现有的竞争基线。
(iii)我们显示出很强的泛化能力，并在域外分割任务上很大程度上优于我们的基线。
(iv)即使在极端的例子外，我们也定性地证明了合理的性能。

方法：
训练一个G，两个D，见下图

encoder是pixel2style2pixel里面的，能够生成图片的latent code w+
有了latent code，训练一个generator让它生成原图和分割图即可