可准确捕获图形风格细节，JoJoGAN 这个做到了

虽然最近在少镜头图像风格化方面取得了进展，但这些方法未能捕捉到人类显而易见的风格细节。 眼睛的形状、线条的粗细等细节对于模型来说尤其难以学习，尤其是在有限的数据设置下。

在本文中，我们的目标是执行一次性图像风格化，以获得正确的细节。 给定参考样式图像，我们使用 GAN 反演近似配对真实数据，并使用该近似配对数据对预训练的 StyleGAN 进行微调。 然后我们鼓励 StyleGAN 进行泛化，以便将学习到的风格应用于所有其他图像。

论文：https://arxiv.org/pdf/2112.11641v1.pdf
代码：https://colab.research.google.com/github/mchong6/JoJoGAN/blob/main/stylize.ipynb

方法

JoJoGAN 通过使用单个参考样式图像对预训练的 StyleGAN2 进行微调来工作。步骤如下：

• 我们通过 GAN 反转参考风格图像 y 来准备近似配对训练数据，给我们样式代码 w，它生成一个合理的对应真实人脸图像 x。
• 然后我们找到一个 W 族，它生成一个应该匹配的真实人脸图像 X 族参考风格图像 y。
  形成对 (wi, y) 作为我们的配对训练集。
• 根据那些成对的训练数据对 StyleGAN 进行微调。
• 使用微调的 StyleGAN 生成新样本。

总结

虽然 JoJoGAN 允许简单的一次性人脸风格化，但执行视频推理是不切实际的，由于 GAN 反转步骤。执行推理的一种直接方法是首先微调我们的JoJoGAN 并使用它为真实和风格化的人脸生成新的训练数据集。 然后我们可以训练一个以受监督的方式构建简单的编码器解码器网络，并对其进行有效的推理。