CVPR2022-SemanticStyleGAN

少司、

已于 2022-04-09 16:15:13 修改

阅读量5.5k

点赞数

分类专栏： DL 论文文章标签： GAN

于 2022-03-23 00:20:53 首次发布

本文链接：https://blog.csdn.net/mokeyser/article/details/123673158

版权

DL 同时被 2 个专栏收录

11 篇文章 0 订阅

订阅专栏

论文

6 篇文章 0 订阅

订阅专栏

这是一篇来自CVPR2022关于GAN的新作：SemanticStyleGAN - Project Page

文章效果惊艳，引入了语义图进行解耦，很有新意。

Compositional Image Synthesis

Layout-based Generators

摘要

stylegan为下游生成任务提供了promising prior models，但是stylegan的the latent codes是全局的（如下图，stylegan中是latent z是经过Normalize 和FC 层得到的）。这并不能很好对生成图像进行 a fine-grained control。本文提出semanticstylegan是model local semantic parts separately，重点放在生成器的改进上（往下看，其实判别器也做了进步）。实现了符合latent z对应的structure and texture（文章实验部分对这里做了可视化，看着图感觉解的挺好）。后面就是吹自己做的好了

1、介绍

首先指出在gan的生成是从latent space中random code开始的，说出传统gan不可控。说stylegan的generated image is conditioned on a set of coarse-to-fine latent codes。但是这些latent code任然很混淆（确实）。

作者说了以下两种解决方式

1、by learning a linear boundary or a neural network in the latent space of StyleGAN

2、to train a new GAN model from scratch by introducing additional supervision or inductive biases.

紧接着指出，本文的解耦是从语义mask入手的。

2、相关工作

latent space

1、manipulate the latent space of a pre-trained GAN network：trains a attribute model

2、learn a GAN with more disentangled latent space using additional supervision

Compositional Image Synthesis

这段自己看原文吧

Layout-based Generators

1、a semantic segmentation mask

2、a sketch image

nips2021的editgan也是语义生成，可以对比一下。作者表明：we build a semantic-aware generator that directly associates different local areas with latent codes, these codes can then be used to edit both local structure and texture.

这篇文章确实不一样，别人解耦的属性都是直接喂入网络，这篇文章解耦后再输出feature map和pseudo-depth。