FaceShifter：新的人脸交换模型

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

如今，深度学习已近在图像合成、图像处理领域中取得惊人的成果。FaceShifter [1]便是其中之一，它是一种深度学习模型，可以非常先进的技术实现人脸交换。在本文中，我们将了解它是如何工作的。

01.问题描述

我们有一张源人脸图像Xₛ和一张目标人脸图像Xₜ，我们想要产生一个新的人脸图像Yₛₜ。它具有Xₜ图像中的属性（姿势，照明，眼镜等）和Xₛ图像中人的身份。图1总结了该问题陈述。现在，我们继续解释模型。

图1.换脸的问题描述，所示结果来自FaceShifter模型

02.FaceShifter模型

FaceShifter由AEI-Net和HEAR-Net的两个网络组成。AEI-Net产生初步的面部交换结果，而HEAR-Net对该输出进行细化。

AEI-Net

AEI-Net是“自适应嵌入集成网络”的缩写，AEI-Net包含3个子网：

1.身份编码器：与将Xₛ嵌入描述图像中人脸身份的空间有关的编码器。

2.多级属性编码器：一种与将X emb嵌入到空间中有关的编码器，该空间描