TPAMI 2024 | 对话编辑：通过对话框进行精细的2D和3D面部编辑

题目：Talk-to-Edit: Fine-Grained 2D and 3D Facial Editing via Dialog

对话编辑：通过对话框进行精细的2D和3D面部编辑

作者：Yuming Jiang; Ziqi Huang; Tianxing Wu; Xingang Pan; Chen Change Loy; Ziwei Liu

---

摘要

面部编辑的目的是按照用户的指定方式操作面部图像。随着生成模型的发展，用户现在可以轻松生成具有高保真度和3D意识一致性的2D和3D面部图像。然而，现有工作无法提供与用户自然交互的连续和细粒度编辑模式（例如，将微笑的脸编辑为大笑的脸）。在这项工作中，我们提出了Talk-to-Edit，这是一个通过用户和系统之间的对话执行细粒度属性操作的交互式面部编辑框架。我们的关键见解是在GAN潜在空间中建模一个连续的“语义场”。

1. 与以前的工作不同，这些工作将编辑视为在潜在空间中沿直线行走，这里的细粒度编辑被制定为找到一个尊重语义场上细粒度属性景观的弯曲轨迹。
2. 每一步的曲率是位置特定的，并且由输入图像以及用户的语言表达决定。
3. 为了使用户参与有意义的对话，我们的系统通过考虑用户请求和当前语义场的状态来生成语言反馈。我们展示了我们提出的框架在2D和3D意识生成模型上的有效性。我们将3D意识模型的语义场称为“三平面”流，