python人脸融合_课内资源 - 基于Face++的人脸融合及换脸系统

1.项目介绍

在本项目中，我们实现了对人脸图片数据的三种处理：人脸互换(face swap)、人脸融合(face morph)以及基于特征向量的人脸处理(eigen face)。

1.1 人脸互换(face swap)

人脸互换部分主要实现的功能是，给定任意两张人脸图片，通过一系列操作，使两个人的脸部交换，这部分需要的问题有：

不同的人的脸部结构千差万别，同一个人也会因为角度、面部表情的不同而导致差别，即如何实现不同图片的人脸对齐

不同人脸的肤色、光照不同，即不同图片的面部亮度不同，在换脸后如何与整体亮度统一

不同人脸的纹理不同，比如老人的皱纹等，如何实现换脸后纹理的统一

1.2 人脸融合(face morph)

在人脸融合部分，我们需要实现给定任意两张人脸图片和融合度α，通过一系列操 作，实现两个人脸的融合。这一部分的困难在于：

人脸结构的检测与分割。对于给定的人脸图片，人脸的结构差异很大

人脸融合度的构建。对于给定的融合度 α，如何对两张图片的人脸取样与映射

1.3 本征脸(eigen face)

在这一部分，需要对较大的数据集(几百张，几千张人脸图片)进行处理，通过主成分分析的方法，得到一定数量的人脸主成分。这一部分的主要困难在于数据集的预处理，我们需要将不同图片中的人脸对齐，才能进行后续的处理。

2.算法结构与处理过程

2.1 人脸变换

2.1.1 人脸关键点检测

实现人脸变换的第一步，便是人脸关键点的检测，得到图片中的人脸的结构。在这 里，我们利用旷视face++的API来定位人脸关键的集合{V1,V2,…,Vn}，其中关键点的数量可 以选择 83 或者 106。

左：人脸关键点与凸包；右：德劳内三角集。

2.1.2 计算凸包

在获取人脸关键点集合后，我们需要计算这些关键点的凸包(convex hull)(凸包是一个计算几何(图形学)中的概念：在一个实数向量空间 V 中，对于给定集合 X，所有包含 X 的凸集的交集 S 被称为 X 的凸包。X 的凸包可以用 X 内所有点(X1，…Xn)的凸组合来构造.)在这里，我们计算凸包是为了获取这些人脸关键点组成的一个人脸区域。

2.1.3 德劳内(Delaunay)三角划分

在获得凸包以后，我们对凸包内的人脸关键点进行德劳内三角的划分。德劳内三角划分能将我们的凸包区域进行分割，并且更易于保留人脸的细节部分，并且因为获取仿射变换需要原图片和目标图片的各三个点，正好对应于原图和目标图的对应的德劳内三角。

2.1.4 进行仿射变换

在获得原图片和目标图图片的德劳内三角以后，我们需要寻找两张图对应的三角形对，对这样