DragGAN编辑自定义图像

“ 上一篇图文我们简要的看了DragGAN的官方源码，效果还可以，但是只能编辑StyleGAN生成的图片，没办编辑自定义的图片，当然如果需要编辑自己的图片，就需要将图片投影（或反转）到styleGAN预训练生成器的领域中。”

01

—

什么是图像反转（inversion）

    反转是指将一个图像映射到生成模型的潜空间中，然后通过调整潜空间向量来修改图像的外观。反转过程旨在通过反向计算生成模型中的潜空间向量，将现实图像转换为生成模型可识别和编辑的形式。在图像编辑的上下文中，反转常用于在潜空间中进行编辑操作，然后将编辑后的潜空间向量转换为修改后的图像。通过这种方式，可以实现对图像的各种编辑操作，例如改变姿势、修改外貌特征或添加不同的风格。通过反转和编辑潜空间，可以实现对图像的高级编辑，同时保持图像的真实性和准确性。

    最近，出现了一系列利用预训练的StyleGAN的生成能力的高级面部编辑技术。为了成功地编辑一张图片，首先必须将该图片投影（或反转）到预训练生成器的领域中。然而，事实证明，StyleGAN的潜空间引入了一种固有的失真和可编辑性之间的权衡，也就是在保持原始外观和真实改变一些属性之间的权衡。从实际角度来看，这意味着对于位于生成器领域之外的面部，应用保持身份特征的面部潜空间编辑仍然具有挑战性。

02

—

PTI

   为了解决这个问题，有人提出了关键调整用于基于潜空间编辑真实图像的方法（Pivotal Tuning for Latent-based Editing of Real Images）。它是一种技术，通过微调生成模型的潜空间，使得可以对真实图像进行编辑。在这种方法中，首先需要将真实图像进行反转，将其映射到生成模型的潜空间。然后，通过调整潜空间向量，可以对图像进行各种编辑操作，例如改变外貌特征、调整姿势或添加不同的风格。关键调整的目标是在编辑图像时保持其身份特征的准确性和一致性。通过这种方式，可以在真实图像上应用基于潜空间的语义编辑技术，实现高级的图像修改。

    PTI原始论文，2106.05744.pdf (arxiv.org)，研究目标，对于真实图片的高清编辑，论点：对于一个编辑任务，对于真实图片的映射到隐层空间后已经out of domain，导致生成的图片会有伪影，因提出了训练生成器，扩大生成器的输入domain，使得编辑后的采样点也在生成器的输入域范围内。所以&#