使用 Opencv 简化面部地标检测

介绍

今天我们将使用 OpenCV 和 MediaPipe 来检测图像中的468 个面部地标。

OpenCV 是用于计算机视觉、机器学习和图像处理的跨平台开源库，我们可以使用它来开发实时计算机视觉应用程序。它主要用于图像或视频处理以及分析，包括对象检测、面部检测等。

面部地标用于定位和表示面部的重要区域，例如：

• 嘴巴

• 眼睛

• 眉毛

• 鼻子

• 下颌线等

应用

面部地标有许多应用，例如：

换脸

如果我们在两张不同的脸上估计了面部地标特征点，我们可以将一张脸与另一张脸对齐，然后我们可以将一张脸克隆到另一张脸上。

面部变形

面部地标可用于通过对齐可变形的面部来生成中间图像。

头部姿势估计

一旦我们知道了一些面部地标点，那么我们也可以估计头部的姿势。

MediaPipe Face Mesh

即使在移动设备上，MediaPipe Face Mesh 也可以实时估计 468 个 3D 面部地标。通过应用机器学习 (ML) 来推断 3D 表面几何形状，它只需要单个相机输入，而无需专用的深度传感器。它提供了更好的实时性能。

面部地标模型

3D 面部地标模型使用迁移学习，并在具有不同目标的网络上进行训练：该网络预测合成渲染数据上的 3D 地标坐标。由此产生的网络在现实世界的数据上表现得相当好。

3D 地标网络将输入作为裁剪的视频帧，而无需额外的深度输入。该模型输出 3D 点的位置，在输入中合理对齐。

几何管线

几何管线是一个关键组件，它估计 3D Metric 空间内的几何对象。在每一帧上，分别执行以下步骤：

• 得到Metric 3D空间坐标，即将面部地标屏幕坐标转换为Metric 3D空间坐标。

• 面部姿态变换矩阵被估计为来自标准面部度量界标的刚性线性映射，然后将其发送到运行时