StyleFlow论文阅读

StyleFlow: Attribute-conditioned Exploration of StyleGAN-Generated Images using Conditional Continuous Normalizing Flows
论文地址
代码链接

一、摘要

目前图像生成和编辑技术正趋于成熟，通过引入属性约束来控制生成过程并保留输出图像的质量是本文的研究重点。由于GAN隐空间(latent space)的解耦特性，导致在某个属性上图像编辑往往带来了不想要的其他属性的改变。本文通过对隐空间的约束进行探索，特别是对属性约束采样和属性控制编辑这两个子问题进行研究，提出了本文的网络StyleFlow，StyleFlow 力图实现各属性解耦的图像编辑，比如给人脸加上胡子，并不希望人脸其他区域也被改变，但以往的模型往往难以做到这一点。

二、相关工作

在2019年提出的StyleGAN，提出了一个新的 generator architecture，能够控制所生成图像的高层级属性(high-level attributes)，如 发型、雀斑等；并且生成的图像在一些评价标准上得分更好；同时随论文开源了一个高质量数据集：FFHQ。styleGAN通过不必配对的方式实现高分辨率图像的生成，但却无法调整特定的属性来控制生成过程。

然而通过引入控制信息来约束GAN的生成过程，特别是在训练过程中直接指定属性。此外，一些在训练过程中未被指定的属性，在生成过程中也会改变，从而导致（对象）身份的丢失。

本文的工作主要着重于以下两个方面的研究：（1）属性约束采样，目的是对满足用户指定属性的各种图像集进行采样；（2）属性可控编辑，目的是对用户指定的具有目标属性指定的特定图像依次改变。

创新点

对于属性约束采样：是将z和目标属性结合并映射到w

z是0均值的正态分布中采样得到的向量，维度为512，将该向量和对应的属性结合即可得到得到目标属性特征的向量W。从结构上来看，将z和a结合得到w的映射方式是基于约束持续正则化流（CNF）的前向推断来实现的。
对于属性控制编辑：对于给地的图像Io，我们可以将它映射到StyleGAN的隐空间，获得wo，假设Io对应的属性向量是ao，那么对wo进行分类也会得到属性向量ao。我们的目标是将wo中的ao的属性标签变为at，这就意味着我们将在保留人物身份的前提下对人物的属性进行编辑。

CNF网络结构

三、实验结果