MediaPipe是一个由Google开源的计算机视觉框架,支持在CPU或GPU上运行,用于人脸识别、关键点检测、追踪等多种任务。在Android平台上,通过配置参数、加载模型、初始化Camera,可以实现实时流中的人脸关键点检测,并用于滤镜特效。
MediaPipe是Google开源的计算机视觉处理框架,基于TensorFlow来训练模型,支持人脸识别、人脸关键点、目标检测追踪、图像分类、人像分割、手势识别、文本分类、语音分类等。我们可以使用CPU来推理,也可以选择GPU加速推理。在滤镜特效场景,经常需要用到人脸关键点。
目录
一、配置参数与模型
1、配置参数
2、检测模型
二、工程配置
三、初始化工作
1、初始化模型
2、初始化Camera
四、检测实时流
1、检测人脸关键点
2、绘制人脸关键点
五、检测结果
一、配置参数与模型
1、配置参数
检测人脸关键点的配置参数有运行模式、人脸数、最小的检测人脸置信度、最小的显示人脸置信度、最小的追踪人脸置信度、结果回调,具体如下表所示:
选项 描述 取值范围 默认值
running_mode
IMAGE: 单个图像
VIDEO: 视频帧
LIVE_STREAM: 实时流
{IMAGE,VIDEO,
LIVE_STREAM}
IMAGE
num_faces 最多检测的人脸数 大于0 1
min_face_detection
_confidence
人脸检测最小置信度 [0.0, 1.0] 0.5
min_face_presence
_confi