StyleFlow 水记

StyleFlow 水记

https://github.com/RameenAbdal/StyleFlow

论文： https://dl.acm.org/doi/10.1145/3447648

简单来说就是，把StyleGAN的mapping network换成一个flow模型，而且是带条件的flow模型

有两个任务，

一个是根据条件生成图像，

一个是根据条件修改图像

生成使用的是 StyleGAN 和 StyleGAN2

先回忆一下 StyleGAN2 ，顺便定义下符号

StyleGAN2 会用一个先验网络，把噪声 ${\mathbf{z}}_S\in {\mathbb{R}}^{512}$ 映射为 $\mathbf{w}\in {\mathbb{R}}^{512}$ ，然后用生成器对 $\mathbf{w}$ 解码，得到 3x1024x1024 的图像

${\mathbf{z}}_S$ 是一个高斯噪声，

$\mathbf{w}$ 用于控制 StyleGAN2 生成器中 18 个不同位置的 nromalization（同一个 $\mathbf{w}$ 重复18次）

定义一个 $\mathbf{W}+$ 空间，对 $\mathbf{w}\in \mathbf{W}+$ 有 $\mathbf{w}\in {\mathbb{R}}^{18\times 512}$ ，表示在控制 StyleGAN2 时用 18 个不同的 $\mathbf{w}$

在训练时，使用 $\mathbf{W}$ 空间，在编辑时，使用 $\mathbf{W}+$ 空间

用一个分类器来度量图片的属性，

对于人脸，用了17类

对于任务一，根据属性生成图像

$$\begin{gathered} \mathbf{z}\sim N(0,\mathcal{I}) \\ \mathbf{w}=\Phi (\mathbf{z},\mathbf{a}) \end{gathered}$$

$\mathbf{w}$ 的生成会考虑属性 $\mathbf{a}$

这个 $\Phi$ 是一个 flow-based 的模型，称为 条件CNF（conditional continuous normalizing flow），该模型是可逆的。

$\mathbf{w}$ 经过生成器解码得到图片，图片的属性必须符合 $\mathbf{a}$ （使用分类器判断）

对于任务二，根据属性编辑图像

首先，从图片反解出编码 ${\mathbf{w}}_0$ ，使用的方法是 [Abdal et al. 2019; Karras et al. 2019a]

然后我们用分类器分类图片，得到当前属性 ${\mathbf{a}}_0$

然后用 ${\mathbf{w}}_0$ 和 ${\mathbf{a}}_0$ 反解出 ${\mathbf{z}}_0$ ，用的方法是作者提出的 CNF 的反转（flow模型天然就是可逆的）

然后用 ${\mathbf{z}}_0$ 和用户给定的属性 ${\mathbf{a}}_t$ 走正常流程去生成图片