使用人脸关键点进行人脸对齐与矫正

胖胖腐乳

已于 2023-05-09 10:59:21 修改

阅读量2.2k

点赞数 3

分类专栏：人脸关键点检测文章标签：计算机视觉 opencv python

于 2023-03-06 11:44:52 首次发布

本文链接：https://blog.csdn.net/weixin_41967328/article/details/129358702

版权

人脸关键点检测专栏收录该内容

7 篇文章 0 订阅

订阅专栏

1. 前言

人脸对齐的本质很简单——通过旋转、平移与缩放将目标人脸区域放置在图像特定位置。这是人脸识别系统中的一种标准操作。这样做可以减小需要处理的人脸图像在空间分布上的差异。说白了就是降低难度。其是人脸特征提取，人脸识别等任务种非常重要的一步，其常作为人脸数据预处理的一部分。

2. 当前关键点检测逻辑

目前我们的关键点检测模型，是在检测到图像中人脸后直接进行预测的，尽管模型对小中幅度人脸倾斜场景鲁棒，但当人脸出现大幅度倾斜时，其预测结果误差较大。而在TNN 优图关键点检测中，就使用到了多个关键点对图像做仿射变换，从而更利于关键点检测。

3. 使用OpenCV API 多点仿射变换

人脸对齐可以通过仿射变换来实现。变换的核心为仿射变换矩阵，它描述了变换过程的具体参数。仿射变换矩阵可以通过比较图像中特定像素在变换前后的位置差异来实现。对于人脸对齐来说，五官的分布就是一个绝佳的天然参考因素。只需在原始图像中检测面部五官位置，然后规定目标图像中五官应该出现的位置，便可得出变换矩阵。如果使用OpenCV的话，可以使用 cv2.estimateAffinePartial2D 函数计算出变换矩阵。

3.1 算法思路

使用MTCNN检测得到人脸五官关键关键点(图中绿点所示)
自行标定合适的仿射变换后的关键带你坐标(图中红点所示)
使用OpenCV cv2.estimateAffinePartial2D() API根据前后关键点计算仿射变换矩阵
使用cv2.warpAffine()对原图进行仿射变换，得到人脸对齐后的图像

人脸对齐前后结果：

3.2 示例代码

import numpy as np
import cv2

# 读取图像
image = cv2.imread("te4.png")

# 变换前的五官坐标
marks = np.array([
    173, 149,
    222, 125,
    205, 172,
    185, 192,
    226, 186
]).reshape([-1, 2])
for i in range(marks.shape[0]):
    x, y = marks[i]
    cv2.circle(image, (x, y), 3, (0, 255, 0), thickness=-1)

# 变换后的五官坐标
key_marks = np.array([65, 65, 130, 65, 96, 96, 75, 130, 117, 130]).reshape([-1, 2])


# 获取变换矩阵
M, _ = cv2.estimateAffinePartial2D(marks, key_marks)

# 执行变换操作
transformed = cv2.warpAffine(image, M, (192, 192), borderValue=0.0)
for i in range(key_marks.shape[0]):
    x, y = key_marks[i]
    cv2.circle(transformed, (x, y), 3, (0, 0, 255), thickness=-1)

# 展示结果
cv2.imshow("image", image)
cv2.imshow("image_rot", transformed)
cv2.waitKey()