标题
Semantic Segmentation with Generative Models:
Semi-Supervised Learning and Strong Out-of-Domain Generalization
链接:
https://openaccess.thecvf.com/content/CVPR2021/html/Li_Semantic_Segmentation_With_Generative_Models_Semi-Supervised_Learning_and_Strong_Out-of-Domain_CVPR_2021_paper.html
核心内容:
训练一个Generator,以图片作为输入,输出原图+语义分割图
贡献:翻译自原文
(i)我们提出了一种新的语义分割生成模型,它建立在最先进的StyleGAN2的基础上,并自然地允许半监督训练。据我们所知,我们是第一个用纯生成方法处理语义分割,直接建模联合图像-标签分布的工作。
(ii)我们在医学领域和人脸图像上广泛地验证了我们的模型。在半监督设置下,我们证明了结果等于或优于现有的竞争基线。
(iii)我们显示出很强的泛化能力,并在域外分割任务上很大程度上优于我们的基线。
(iv)即使在极端的例子外,我们也定性地证明了合理的性能。
方法:
训练一个G,两个D,见下图
encoder是pixel2style2pixel里面的,能够生成图片的latent code w+
有了latent code,训练一个generator让它生成原图和分割图即可