20200528-换脸算法调研

说明：搬迁自我的知乎专栏：图像处理&&计算机视觉

文章链接：https://zhuanlan.zhihu.com/p/30315577

简介：专栏的第一篇文章，本来想着写一篇极坐标全景图相关的文章的，但由于近期比较忙没有太多的时间去整理。但总想着写些什么，想到前段时间天天批图军装照刷爆了朋友圈，作为一名图像处理相关行业的从业人员，除了对其现象的关注之外，更加应该去探索一下人像换脸背后的原理及实现。因此，决定搜集整理一下关于人像换脸算法的相关资料。

1、Face Swapping: Automatically Replacing Faces in Photographs

简介：单张图像的总换脸算法，使用的传统方法。该方法对于大角度侧脸输入，得到的结果图像效果并不理想。

来源：SIGGRAPH-2008

链接：http://www1.cs.columbia.edu/CAVE/projects/face_replace/

代码：No

算法流程图：

换脸算法流程图（来自于论文）

效果图：

换脸算法效果图（来自论文）

我的论文复现（效果图）：

白素贞小岳岳换脸（素材来源于网络）

尔康与姚明换脸（素材来源于网络）

小岳岳与姚明换脸（素材来源于网络）

注：算法复现中关键点检测使用的开源库Dlib中的关键点检测算法。

2、Switching Eds: Face swapping with Python、Dlib and OpenCV

来源：博客

链接（英文）：https://matthewearl.github.io/2015/07/28/switching-eds-with-python/

链接（中文1）：教你用200行Python代码“换脸”_慕课手记

链接（中文2）：变脸

代码：Yes

效果图：

效果图

3、Face2Face: Real-time Face Capture and Reenactment of RGB Videos

简介：主要是做到了实时的人脸表情模拟（也可以不划分为换脸算法）

来源：CVPR-2016

主页：http://www.graphics.stanford.edu/~niessner/thies2016face.html

代码：No

效果图：

实时人脸表情模拟（来自论文）

4、On Face Segmentation，Face Swapping and Face Perception

简介：基于深度学习的换脸算法，不仅可以换脸也可以进行换妆操作。对于面部有遮挡部分的输入图像，其换脸结果也比较理想，但算法的效率不敢恭维。

主页：http://www.openu.ac.il/home/hassner/projects/faceswap/

代码：https://github.com/YuvalNirkin/face_swap

流程图：

效果图：

论文效果图

5、补充材料：关于人脸换脸中的人脸变形算法

在上述几种方法中，1、2中介绍的方法并未对人脸进行局部变形，只是在面部大小及朝向角度方向上面进行了调节（这里不讨论3），在4中使用了3DMM算法对人像进行3D建模，在结合基于深度学习的面部分割算法，对人像进行换脸。

以上就是专栏的第一篇文章，如果您有什么意见或者建议的话，欢迎留言。如果这篇文章有帮助到你的话欢迎点赞哦！

PS：专栏终于开张了！

 

2017-11-06-更新：

感谢 

@张骞晖

 提供的ICCV-2017的论文《Fast Face-Swap Using Convolutional Neural Networks》，这里做如下的补充：

论文的下载地址：[1611.09577] Fast Face-swap Using Convolutional Neural Networks

本文也是基于深度学习的换脸算法，目前没有找到论文的代码。

论文的流程图：

论文流程图

论文的实现效果：

论文效果图

对此论文感兴趣的读者，可以自行下载文章阅读。