分享自己的第一篇ECCV工作：可控头发编辑CtrlHair

第一篇三大会的工作，超级开心！

GAN with Multivariate Disentangling for Controllable Hair Editing (ECCV 2022)

Xuyang Guo, Meina Kan, Tianle Chen, Shiguang Shan

详细的内容请看Github的项目页，包括动图结果、论文、工具使用方法和代码

头发具有复杂的几何信息和材质，这使得头发编辑成为人像编辑中的一个重要且有难度的任务。现有的编辑方法可以通过给定参考图像、绘制头发分割图或用笔画引导的方式进行编辑。然而，当用户没有提供参考图像、或者头发分割区域很难绘制时，现有方法无法编辑。基于此，我们提出了一种有效的可控编辑方法。该方法可以通过一组滑动控制条，进行连续、细粒度语义的头发编辑。此外，该方法也能很自然地兼容给定参考图像、绘制头发分割图的方式进行编辑。具体地，我们提出了一个具有多元高斯解耦模块的生成对抗网络。首先，通过一个编码器将头发颜色、纹理和形状这三个主要属性进行分解，得到每个属性的隐编码表示。这些隐编码表示被各自建模为标准多元高斯分布，从而使属性的每个维度都可以连续精细地变化。由于隐编码直接服从高斯分布，所以任何通过滑动控制条、给定参考图像、绘制形状分割图的编辑方式都可以支持，这使得和用户之间的交互灵活友好。最后，给定修改后的隐编码表示，解码器输出一个带有编辑后头发的人像。实验表明我们的方法可以连续、单独地编辑每个属性的多个语义维度。

总体而言，本文的主要贡献如下：

• 1）提出了一种具有多元高斯分布解耦的生成对抗网络，使用户可以通过一组滑动控制条、提供参考图像或绘制形状分割图来进行连续、细粒度的头发编辑；
• 2）为使编辑后的头发和原有人像的其他区域保持和谐真实，针对形状属性，我们专门设计了一个基于学习的形状适配器，用于自动对齐头发和脸部区域，并修复因形状变化而需要补全的区域；
• 3）实验表明，我们的方法可以连续、单独地编辑每个属性的多个维度。在发型迁移任务上也取得了与现有方法可比的结果