【3D人脸】MediaPipe Face Mesh 调研

官网效果

MediaPipe Face Mesh:不够高清,case也不够丰富,暂时看不出问题。

官方AI博客

Real-Time AR Self-Expression with Machine Learning:没啥有价值的信息,但里面的gif效果不错。

官方youtube账号

MediaPipe:图例基本上面都出现过,没有特别的收获。

  1. Live Perception for Mobile and Web (ECCV 16th Embedded Vision Workshop)
  2. MediaPipe Overview Talk - Google Seattle 13 Feb 2020
  3. MediaPipe Overview Talk - Google Berlin 11 Dec 2019

开发者博客

developers.googleblog.com:没啥用。

讨论小组

Groups.google.com:没啥用。

开源模型

官方发布的轻量级模型:都是tf格式的,很轻量级,没啥用。
Face Mesh

官方的代码

下载地址(可直接跑):嘴部抖动较为严重,抿嘴无法闭成一条线,贴合度一般般。

Github上的复现

Kazuhito00/mediapipe-python-sample:这是唯一有价值的复现,但是效果比官方开源的更差,甚至闭眼都闭不上。

开发社区的讨论

How to reduce the jittering of face landmarks? #825: 很多人遇到了同样的困惑,google官方开发者给出的说法是,目前(2020.06.20)只开源了非常轻量级的模型(比博文中宣布的模型更轻),抖动是符合预期的。在生产中部署模型时,他们应用低通滤波器来获得时间稳定的预测。这也是群友们试过的唯一有点作用(但也不是很有用)的trick。

### MediaPipe Face Mesh 功能概述 MediaPipe 提供了一种强大的解决方案来检测并跟踪面部的关键点,即所谓的面部网格。该工具能够识别超过468个面部标志点,并提供高精度的实时处理能力[^1]。 #### 归一化坐标的优势 为了提高模型的通用性和适应性,MediaPipe采用归一化坐标系表示这些关键点的位置。这意味着不论输入图片的实际尺寸如何变化,所有特征点都将被映射到一个标准化的空间内,其范围限定于\[0, 1\]之间。这种做法不仅简化了数据预处理流程,而且有助于不同分辨率下的图像之间的对比分析[^3]。 对于三维空间中的Z轴方向,则通过将实际深度值除以脸部矩形框宽度的方式来进行归一化操作,从而得到一个无量纲的比例因子\(z_{normalized}=\frac{z}{face\ width}\),这使得即使是在复杂场景下也能保持良好的鲁棒性。 #### 安装与环境配置 要开始使用MediaPiPeFace Mesh模块,在本地环境中安装必要的依赖项至关重要: ```bash pip install mediapipe opencv-python ``` 这段命令会自动获取最新版本的`mediapipe`库以及OpenCV-Python接口,后者用于读取视频流或静态照片作为输入源。 #### 实现代码实例 下面给出一段简单的Python脚本,展示了如何利用MediaPipe实现基本的人脸网格绘制功能: ```python import cv2 import mediapipe as mp mp_face_mesh = mp.solutions.face_mesh drawing_spec = mp_drawing.DrawingSpec(thickness=1, circle_radius=1) cap = cv2.VideoCapture(0) with mp_face_mesh.FaceMesh( min_detection_confidence=0.5, min_tracking_confidence=0.5) as face_mesh: while cap.isOpened(): success, image = cap.read() if not success: print("Ignoring empty camera frame.") continue # Flip the image horizontally for a later selfie-view display, and convert # the BGR image to RGB. image = cv2.cvtColor(cv2.flip(image, 1), cv2.COLOR_BGR2RGB) results = face_mesh.process(image) # Draw the face mesh annotations on the image. image.flags.writeable = True image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR) if results.multi_face_landmarks: for face_landmarks in results.multi_face_landmarks: mp_drawing.draw_landmarks( image=image, landmark_list=face_landmarks, connections=mp_face_mesh.FACEMESH_TESSELATION, landmark_drawing_spec=None, connection_drawing_spec=drawing_spec) cv2.imshow('MediaPipe FaceMesh', image) if cv2.waitKey(5) & 0xFF == ord('q'): break cap.release() cv2.destroyAllWindows() ``` 上述程序片段实现了打开默认摄像头捕获当前帧,并应用MediaPipe提供的API对面部结构进行解析;随后借助OpenCV的功能显示带有标注线条连接各个节点的结果画面。按下键盘上的'Q'键可随时终止运行。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值