基于参考图像的人脸组成编辑

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

近年来，人脸肖像编辑取得了较大的进步。但是，以前的方法要么对预定义的人脸属性进行操作，缺乏控制高级语义人脸组成形状的灵活性；要么利用手动编辑的中间表示实现具有明显拓扑形变的编辑，这种方式费时费力并且要求绘画技能。

基于当前方法的局限性，我们提出了一种基于参考图像的人脸组成编辑方法（r- FACE），不需要预定义的属性标签和手动编辑的中间表示，直接从参考图像中学习目标人脸组成形状。为了训练所提出的模型，我们采用上下文损失约束生成图像和参考图像之间目标人脸组成形状的相似性，同时采用风格损失和感知损失保持原始图像和生成图像之间肤色等风格特征的相似性。实验结果表明，r-FACE实现了形变可控、多样化的生成结果。

邓琪瑶：中国科学院自动化研究所博士生，主要研究兴趣是深度生成模型和人脸图像编辑。目前以第一作者在IJCAI、IEEE TIFS上发表多篇论文。

一、研究背景

人脸组成编辑是人脸肖像编辑方法的一种，人脸肖像编辑是指基于一副给定的人脸图像，对人脸的属性组成或者语义进行编辑，并且生成的图像看起来真实自然。鉴于人脸肖像编辑方法在影视制作、图片处理和交互式娱乐等方面的应用前景，该任务一直是计算机视觉方向的研究热点。