Python换脸术,不会AI也能get有趣有料的技术!

640?wx_fmt=png

2019 Python开发者日」全日程揭晓,请扫码咨询 ↑↑↑


作者 | 雇个城管打天下,理工男一枚。南京大学软件工程系硕士,一个还在做着拥有十万读者梦的互联网新人,或许一篇文章无法获得你的关注,但突然梦想觉醒的我还在努力着!

来源 | 01二进制(ID:gh_d1999add1857)

编辑 | Jane


【导语】前段时间“给朱茵换脸,杨幂穿越到 1994 年版的《射雕英雄传》出演黄蓉“的 AI换脸术引起了大家的热议,不过如果没有专业的 AI 研究背景是不是就搞不定了?那肯定不能,这次我们就带大家用 Python、OpenCV 等库体验一把”低配“换脸术。



作为一名coder,在看到这个视频之后我就很想知道这究竟是怎么做出来的,在查阅了一些资料后,我才发现最悲伤的事情莫过于,好不容易把源码找到了,数据集下载好了,结果显卡带不起来…


Tips:这里给出我之前找到的两个有关视频换脸的仓库,有兴趣的自己去了解下~

deepfakes_faceswap:

https://github.com/joshua-wu/deepfakes_faceswap

FaceIt:

https://github.com/goberoi/faceit


既然条件不允许,那我们只能降低成本,既然视频里的脸不好换,那就退而求其次,换一下图片里面的脸,果然在我的苦苦寻觅后,我找到了一个低配版的 Python 换脸大法:

《Switching Eds: Face swapping with Python, dlib, and OpenCV

https://matthewearl.github.io/2015/07/28/switching-eds-with-python/

以下内容均参考上述所标注的文章,在这感谢原作者


接下来我将会介绍如何通过一段简短的 Python 脚本(200行左右)将一张图片中面部特征自动替换为另外一张图片中的面部特征。


具体过程分为四个步骤


  • 检测面部标志;

  • 旋转、缩放和平移图 2 以适应图 1;

  • 调整图 2 的白平衡以匹配图 1;

  • 将图 2 的特征融合到图 1 中;


实验环境


  • MacOS 10.14.3

  • Python 3.7

  • PyCharm

  • 用到的库有:

  • numpy

  • dlib

  • opencv-python


工具说明


  • numpy大家应该都很熟悉了,这里我简单介绍下dlib和opencv。

  • dlib官网介绍其为:A toolkit for making real world machine learning and data analysis applications,简单来说他就是一个开源的机器学习库,包含了很多机器学习的算法。同时对外提供了C++和Python的接口。使用dlib可以大大简化开发,比如人脸识别,特征点检测之类的工作都可以很轻松实现。同时也有很多基于dlib开发的应用和开源库,比如face_recogintion库(据说识别率高达93%,有兴趣的可以查阅相关资料)。python下的安装也很简单,执行 pip install dlib即可。

  • OpenCV:Intel® 开源计算机视觉库。它由一系列 C 函数和少量 C++ 类构成,实现了图像处理和计算机视觉方面的很多通用算法。是计算机视觉领域非常重要的一个开源库。官网地址:https://opencv.org/


开始换脸


  • 提取面部特征


既然要换脸,我们肯定要先在图片中找到人脸,dlib中有一个函数 get_frontal_face_detector()实现了面部特征提取,核心算法来自于 Vahid Kazemi 和 Josephine Sullivan 的论文《One Millisecond Face Alignment with an Ensemble of Regression Tree》,我也没有读过这篇论文就不解释了。提取面部特征的代码如下:


 
 

1# 面部检测器
2
3detector = dlib.get_frontal_face_detector()
4
5# 特征提取器
6
7predictor = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')
8
9
10
11def GetLandmarks(img_path):
12
13    img = cv2.imread(img_path, cv2.IMREAD_COLOR)
14
15    rects = detector(img, 1)
16
17    if len(rects) > 1:
18
19        print('[Warning]: More than one face in picture, only choose one randomly...')
20
21        rects = rects[0]
22
23    elif len(rects) == 0:
24
25        print('[Error]: No face detected...')
26
27        return None
28
29    return img, np.matrix([[p.x, p.y] for p in predictor(img, rects[0]).parts()])


get_landmarks() 函数接受一个图片,经过处理后以 numpy 数组的形式进行处理,并返回一个 68x2 的元素矩阵。矩阵的每一行与输入图像中特定特征点的 x,y 坐标相对应。


特征提取器(predictor)需要一个大概的边界框作为算法的输入。这将由传统的面部检测器(detector)提供。该面部检测器会返回一个矩形列表,其中每一个矩形与图像中的一张人脸相对应。

生成 predictor 需要预先训练好的模型。该模型可在微信公众号「01二进制」后台回复"AI换脸"获得。

  • 人脸对齐


有了上述方法,我们就可以提取出图片中的人脸了,但是两张照片中的人脸方向肯定都是不一致的(毕竟你不能保证每张都是证件照啊),就像下面这两张图:


640?wx_fmt=jpeg


这两个人脸的方向明显不一致啊,所以我们还需要对人脸进行对齐。我们现在已经获取到每张图片中人脸矩形的坐标了,剩下的就是弄明白如何旋转、平移和缩放第一个向量的所有点,使其尽可能匹配第二个向量中的点就可以了。这里运用到了一个名为普氏分析法(Ordinary Procrustes Analysis)的方法解决这个问题的,数学能力有限,数学依据参考注释中的链接,这里就直接放出代码吧:

 
 


 
 

1# refer:
2
3#     https://en.wikipedia.org/wiki/Procrustes_analysis#Ordinary_Procrustes_analysis
4
5def TransferPoints(points1, points2):
6
7    points1 = points1.astype(np.float64)
8
9    points2 = points2.astype(np.float64)
10
11    c1 = np.mean(points1, axis=0)
12
13    c2 = np.mean(points2, axis=0)
14
15    points1 -= c1
16
17    points2 -= c2
18
19    s1 = np.std(points1)
20
21    s2 = np.std(points2)
22
23    points1 /= s1
24
25    points2 /= s2
26
27    # 奇异值分解
28
29    U, S, Vt = np.linalg.svd(points1.T * points2)
30
31    R = (U * Vt).T
32
33    return np.vstack([np.hstack(((s2 / s1) * R, c2.T - (s2 / s1) * R * c1.T)), np.matrix([0.0.1.])])


之后我们再把对齐的结果利用 OpenCV 的 cv2.warpAffine 函数,将第二个图片映射到第一个图片上:


 
 
 
 

1def WarpImg(img, M, dshape):
2
3    output_img = np.zeros(dshape, dtype=img.dtype)
4
5    cv2.warpAffine(img,
6
7                   M[:2],
8
9                   (dshape[1], dshape[0]),
10
11                   dst=output_img,
12
13                   borderMode=cv2.BORDER_TRANSPARENT,
14
15                   flags=cv2.WARP_INVERSE_MAP)
16
17    return output_img


  • 校正图片颜色


两张图片由于不同的肤色和光线造成了覆盖区域边缘的不连续。所以我们需要修正它:


 
 

1def ModifyColor(img1, img2, landmarks1):
2
3    blur_amount = 0.6 * np.linalg.norm(
4
5        np.mean(landmarks1[LEFT_EYE_POINTS], axis=0) - np.mean(landmarks1[RIGHT_EYE_POINTS], axis=0))
6
7    blur_amount = int(blur_amount)
8
9    if blur_amount % 2 == 0:
10
11        blur_amount += 1
12
13    img1_blur = cv2.GaussianBlur(img1, (blur_amount, blur_amount), 0)
14
15    img2_blur = cv2.GaussianBlur(img2, (blur_amount, blur_amount), 0)
16
17    img2_blur += (128 * (img2_blur <= 1.0)).astype(img2_blur.dtype)
18
19    return (img2.astype(np.float64) * img1_blur.astype(np.float64) / img2_blur.astype(np.float64))


  • 图片融合


用一个蒙版(mask)来选择图 2 和图 1 应被最终显示的部分:


640?wx_fmt=jpeg


值为 1 (白色)的地方为图 2 应显示的区域,值为 0 (黑色)的地方为图 1 应显示的区域。值在 0 和 1 之间的地方为图 1 图 2 的混合区域。


 
 

1这是生成上述内容的代码:
2
3def GetFaceMask(img, landmarks):
4
5    img = np.zeros(img.shape[:2], dtype=np.float64)
6
7    groups = [
8
9        LEFT_EYE_POINTS + RIGHT_EYE_POINTS + LEFT_BROW_POINTS + RIGHT_BROW_POINTS,
10
11        NOSE_POINTS + MOUTH_POINTS,
12
13    ]
14
15    for group in groups:
16
17        DrawConvexHull(img, landmarks[group], color=1)
18
19    img = np.array([img, img, img]).transpose((120))
20
21    img = (cv2.GaussianBlur(img, (1111), 0) > 0) * 1.0
22
23    img = cv2.GaussianBlur(img, (1111), 0)
24
25    return img
26
27
28
29def DrawConvexHull(img, points, color):
30
31    points = cv2.convexHull(points)
32
33    cv2.fillConvexPoly(img, points, color=color)
34
35
36
37def ModifyColor(img1, img2, landmarks1):
38
39    blur_amount = 0.6 * np.linalg.norm(
40
41        np.mean(landmarks1[LEFT_EYE_POINTS], axis=0) - np.mean(landmarks1[RIGHT_EYE_POINTS], axis=0))
42
43    blur_amount = int(blur_amount)
44
45    if blur_amount % 2 == 0:
46
47        blur_amount += 1
48
49    img1_blur = cv2.GaussianBlur(img1, (blur_amount, blur_amount), 0)
50
51    img2_blur = cv2.GaussianBlur(img2, (blur_amount, blur_amount), 0)
52
53    img2_blur += (128 * (img2_blur <= 1.0)).astype(img2_blur.dtype)
54
55    return (img2.astype(np.float64) * img1_blur.astype(np.float64) / img2_blur.astype(np.float64))


GetFaceMask()函数定义是:为一张图像和一个标志矩阵生成一个蒙版。蒙版会画出两个白色的凸多边形:一个是眼睛周围的区域,一个是鼻子和嘴部周围的区域。之后,蒙版的边缘区域向外羽化 11 个像素,这可以帮助消除剩下的不连续部分。


至此,一个低配版的AI换脸就完成了,结果就如开头那样。此次实验虽然已有换脸的雏形,但是精度还远远不够,而且这种换脸如果用到视频中肯定是不堪入目的,毕竟做得好的已经是下面这样了:


640?wx_fmt=gif


本文参考了下述文章:

  • 《Switching Eds: Face swapping with Python, dlib, and OpenCV》

  • 《萌新如何用Python实现人脸替换?》


(*本文仅代表作者观点,转载请联系原作者)



精彩推荐

「2019 Python开发者日」全日程揭晓这一次我们依然“只讲技术,拒绝空谈”10余位一线Python技术专家共同打造一场硬核技术大会。更有深度培训实操环节,为开发者们带来更多深度实战机会。更多详细信息请咨询13581782348(微信同号)。



640?wx_fmt=jpeg

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值