终于把AI换脸的原理搞清了

 

2019年03月09日 13:49:54 beyondma 阅读数 25090

近日一段AI换脸视频火爆网络，一个网名叫换脸哥的Geek,将朱茵在94版射雕中的黄蓉换成了杨幂。

后来甚至有的主播利用类似技术，在直播平台上利用实时换脸技术，直接把自己换成某些一线明星来吸引眼球。

后来换脸哥直接下架了相关视频，并发声明称希望大家专注于技术本身。这起事件看起来只是一个娱乐版的头条，但是深入思考一下也会发现，视频换脸技术其实也给金融业普遍使用的如：客户交易视频资料留档、人脸交易授权等风控手段带来了一定风险。

 

AI是怎么能把人脸换的毫不违和？

其实对于PS中各种美颜、瘦脸和磨皮的技术，我想大家都不十分陌生了，甚至有的女生是专门根据美颜功能的高低而去选择相应手机的，不过这类图像处理技术的应用范围始终还是被圈定在静态图片的处理上。直到17年底一个网名叫”deepfakes”的人出现，在Reddit上发布了一段成人视频，而视频的主角却从根本从未参加过拍摄，一时之间受害的女星还很多，不过她们却发现deepfakes做法好像没有什么对应的法律能够约束,只能转向Reddit投诉,后来Reddit近于压力干脆直接封杀了deepfaks的帐号。不过这次封杀却让deepfaks直接开源了其AI换脸项目的代码。

目前笔者初步在github上看了一下，由deepfaks衍生（如faceswap, deepfacelab）而来的开源项目数量不下十几个，其中faceswap项目在github上的更新与讨论十分热烈,可以说完全看不到趋冷的迹象。笔者这里简单解释一下faceswap换脸的基本原理:

我们将原视频中的人物面部信息简称为faceA，将要被替换人物的面部信息简称为faceB.

1. 人脸侦测和识别。首先要让机器通过含有faceA的视频定位并识别到其中的人脸特征值，通过深度学习将faceA还原到正面、平行均匀光照、标准亮度的场景下。接下来对含faceB的视频进行相同操作，将aceB也还原到正面、平行均匀光照、标准亮度的场景下。
2. 确定变换矩阵：接下来我们对原视频的人脸信息进行定位与侦测，并进行特征提取（以下简称featureA），然后用featureA与faceA对比，找出faceA转换到featureA的所需扭曲、光照等变换的矩阵（以下简称transferA）。
3. 人脸替换：对faceB进行基于transferA的变换，也就是把faceB还原到原视频的拍摄角度及光源场景下，形成新的人脸信息featureB,使用featureB对featureA进行替换。
4. 对于视频中的每一祯信息重复以上操作直至结束。

所以了解清楚了AI的换脸原理，我们也能看出目前实时换脸的技术，还只能用在人正面面向镜头且不剧烈运动的场景，因为如果transferA非常复杂,对其进行计算的时间要求较高，基本无法达到实时换脸的效果。

不过实时换脸的这种局限也不能令我们放心，由于Depfakes算法本身就考虑了换脸时的光线、角度等方面，使其生成的假视频难以被反侦测;而且随着各类开源项目的兴起,换脸技术的应用对于大众来说其技术门槛也在不断降低。

笔者亲身试了一下，从完全不了解Depfakes到可以进行人脸视频替换操作,只用了半天时间。也就是说我们之前拍摄的视频材料，可以被随时换脸、换地点，其事实说明效力也随着这种技术直线下降。

技术到底何去何从

在一年多之前视频伪造还几乎是个不可能完成的任务,不过随着AI技术的发展，AI换脸甚至AI换一切的技术都必然出现，这里笔者有如下几点思考：

1. 目前我们在上传自己正面照片的时候一定要小心，这种照片对于deepfakes都是非常好的训练素材,可以随时被不法份子利用。
2. 换脸技术的发展，对于金融业普遍采用的诸如：视频信息采集留证、人脸身份识别等风控手段是极大的挑战，笔者感觉监管机构后面会出台相应文件，对于需要留证的视频材料强制进行签名、加密等防篡改保护。
3. 最后开个脑洞，我们知道区块链天然具有防篡改和时间戳的属性，那么考虑将监控、取证等证据效力要求较高的视频，定期进行哈希摘要然后其签名上链，应该是一种比较有效的提升安全性的做法。我们也拭目以待，看看被AI打破的信任，能否被区块链重建。

 

AI换脸软件–最近的明星换脸（范BB，杨颖，赵丽颖，杨幂，古力娜扎）视频制作软件附教程

阅读数 2万+

Reddit的用户名为deepfakes已经设法叫FakeApp允许我们开发了一个应用程序,通过人工智能的训练技巧,将面孔的照片视频通过一种算法创建面具来取代原创视频上的脸。结果可能非常出色，也非常现...博文来自： lq98123的博客

WHITE_GHOSTS： 楼主我按照install.md安装的时候，requirement.txt的库函数安装失败，是因为网络的原因吗(1周前#40楼)

• 

  zy1620454507： 我试了下，没那么好操作，就算懂，效果也不能保证，局限性还是比较大的(1个月前#39楼)

• 

  薛定谔的coding猫： 博主，你好，能转载你的文章吗，微信公众号(2个月前#37楼)查看回复(1)

• 看到我喊我去敲代码： 说了一大堆，你倒是上源码啊(2个月前#30楼)

• 

  suniary： 可以可以(2个月前#29楼)

• 

  public_pig： PronHup一大把，啥明星都有(2个月前#28楼)

• 

  qq_42419615： 哈哈哈(2个月前#27楼)

  1

• 

  神秘的贝勒锅： 换脸我在去年就接触到了，是某种电影，惟妙惟肖，看来还是道高一尺，魔高一丈，哈哈(2个月前