ZAO 背后的深度学习算法原理浅析

ZAO最近火爆，成为现象级产品之一，引起大家的广泛关注，ATA上面已经有同学做了一些说明分析。

上面文章介绍了ZAO是基于deep fake算法演变出来的一种产品，并提供了deepFake lab的下载地址，计算机硬件的要求等等。本文从更底层的算法角度出发，带大家深入到算法本质，去理解ZAO究竟是如何基于GAN来进行换脸的。

首先，我们给出一张换脸的整体流程图：

图片来源：Exposing DeepFake Videos By Detecting FaceWarping Artifacts

上图展示了基于deepFake换脸算法的一般流程，首先对于输入图片（a）原图做人脸检测（b），检测出人脸后进行关键点检测（c）。之后（c）通过变换矩阵（d）来实现人脸摆正，之后将摆正后的人脸进入DeepFake（GAN/CycleGAN）来实现人脸替换，之后将替换后的人脸（g）通过变换矩阵的反变换来做关键点对齐，最后替换回原图进行融合最终得到（i）和（h）。

这里我们给出的是图像上人脸替换的一般流程，那对于短视频而言，就需要先对视频进行截帧，然后逐帧进行人脸替换，在视频帧替换过程中要有人脸识别的网络来保证替换的对象保持统一性（具体理解就是比如我们要替换一段视频中小燕子的脸，那就要识别出检测的人脸是不是小燕子的，不能