SFFAI分享 | 曾仙芳：通过自监督解耦身份和姿态特征实现人脸再扮演任务【附PPT与视频资料】...

英剧《真相捕捉》（The Capture）描述了一个团队用高科技实时伪造监控录像，陷害他人的悬疑故事。这引发了我们的思考：在人工智能技术突飞猛进的当下，“眼见”还可以为“实”吗？从Deepfakes框架开始，AI换脸这项技术已经开始被大众所熟识，ZAO等软件的出现更是让普通人就可以使用手机生成换脸的视频。《SFFAI64期-图像生成专场》我们邀请到来自浙江大学的曾仙芳同学，为大家分享他在人脸再扮演这项技术上的研究成果。

关注文章公众号

回复"SFFAI64"获取PPT资料

视频资料可点击下方阅读原文在线观看

作者介绍

---

曾仙芳，浙江大学控制科学与工程学院博士研究生，主要研究方向为图像生成、人脸再扮演。

曾仙芳

很高兴今天有机会来分享我们最近的研究成果，这篇文章发表在AAAI2020, 题目是通过自监督解耦身份和姿态特征实现人脸再扮演任务。

我们首先简单介绍一下什么是人脸再扮演任务，然后回顾一下领域内比较相关的重点工作，紧接着解读我们的探索成果。

论文地址：https://arxiv.org/abs/2003.12957

问题简介

人脸再扮演任务中，通常我们给定一组驱动/目标图片, 以及一张/组源人脸图片, 期望将驱动图片中人脸表情、姿态迁移至源图片，使得源人脸再现驱动人脸中的动作。例如，在图1中，生成的图片既具有目标人物的姿态兼具源人脸的身份特征。

图1

总的来说，人脸再扮演需要解决两个核心问题：

通常我们会选择人脸关键点作为表征，第一个问题从人脸关键点恢复人脸图像，这是再扮演任务的基础，第二是寻找特征的自适应方法或者特征的解耦学习。这是因为在迁移类任务中，我们只想迁移某个特定的属性。

图2

再扮演任务可以用于驱动虚拟人物，比如虚拟主持人，使其产生更拟人的表情，又或者用于人像表情调整，对于拍好的照片，我们对人像的表情进行微调。

图3

重点工作介绍

首先我们回顾下Pix2Pix，它是图像翻译的开山之作，亦是人脸再扮演的基础。它可以给定一个物体边缘图，然后恢复出原来的图片。

图4

我们将它的生成器部分和一个人脸边缘提取模块组合在一起，就可以得到一个人脸再扮演的方法，先用人脸边缘提取模块，从目标人物中提取人脸边缘，然后再用生成器恢复源人脸图像。这种方法的缺点在于，脸型变化不能太大, 否则会有明显的身份差异。