人体姿态识别方案详解

已于 2022-01-27 00:25:54 修改
阅读量3.4w 收藏 189
点赞数 13
分类专栏： Unity 文章标签： unity 游戏引擎
于 2022-01-26 16:08:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jieqiang3/article/details/122195209
版权

文章目录

姿态迁移简介

目前AR，VR，元宇宙都比较火，需要实际场景和虚拟中进行交互的情况，因此研究了通过摄像头获取图像进行识别，本文主要概述了在人体身体姿势识别跟踪方面的一些调研和尝试。

通过各个方案，我们可以从RGB视频帧中推断出整个身体的关键特征点，从而根据这些关键特征点去做扩展，比如迁移到unity模型中等。

从识别角度来说，我们可以分成两个大方向，一是人体身体关键特征点识别，这里特征点分为2d特征点和3d特征点，部分方案只支持2d特征点；二是人体动作识别，比如用户在做什么动作，举一个很简单的例子，我们可以通过mediapipe识别出用户在做俯卧撑或者深蹲等。

从用户体验角度来说，我们可以分成实时摄像头传输和对视频进行处理两个方向。摄像头实时传输的话就必须要做到对视频每一帧RGB图像做到即时处理，这里就牵扯到优化效率问题。对视频进行处理的话可以采用对视频后期处理的形式去处理，一般动捕方案都是这么做的。

方案详解

Mediapipe

Google出品，可以实现人脸检测、姿态识别，手势识别等很多效果，并且可以在多平台高效的输出。这里强调下Mediapipe检测出来的特征点数据均为3d，有空间感。

Mediapipe检测是基于BlazeFace模型，明确地预测了两个额外的虚拟关键点，这些虚拟关键点将人体中心、旋转和缩放牢固地描述为一个圆圈。受莱昂纳多的维特鲁威人的启发，我们预测了一个人臀部的中点，外接整个人的圆的半径，以及连接肩部和臀部中点的线的倾斜角。
在这里插入图片描述

Mediapipe数据获取

从Mediapipe上获取的身体的33个特征点，具体如下图，对此33个特征点进行判断。
在这里插入图片描述
主要通过角度来判断：

float Angle(NormalizedLandmark ver1, NormalizedLandmark ver2, NormalizedLandmark ver3, NormalizedLandmark ver4)
{ 
	return Vector3.Angle(new Vector3(ver1.X, ver1.Y, ver1.Z) - new Vector3(ver2.X, ver2.Y, ver2.Z),
                new Vector3(ver3.X, ver3.Y, ver3.Z) - new Vector3(ver4.X, ver4.Y, ver4.Z));
}

多人姿态识别方向探索

Mediapipe 在人脸上是支持多人的，但是在姿态识别上目前只支持单人。在实验了网上能搜到的各种方案之后，有一种方案目前是可行的，但是在性能上会比较卡顿。
既然Mediapipe支持单人，那我们把视频画面中的多人画面拆分成多个单人就行了。
这里我采用的是OpenVINO中的行人检测模型。（我尝试了多种方案，YOLO-unity、Barracuda-Image-Classification和OpenVINO后发现OpenVINO效果最佳）OpenVINO ToolKit是英特尔发布的一套深度学习推断引擎，支持各种网络框架。对此不熟悉的同学可以参考OpenVINO开发系列文章汇总进行较为系统的学习。
在这里插入图片描述
具体思路就是通过OpenVINO识别出人物范围框，然后使用Opencv进行图像分割，单人图像传递给Mediapipe sdk去做单人姿态识别，然后进行汇总。目前该方案在移动端测试效果较为卡顿，不是很理想。

PoseNet

PoseNet是TensorFlow和谷歌创意实验室合作发布的专门用于姿态估计的一种技术方案。PoseNet可用于估计单个姿势或多个姿势，该算法有一个版本可以仅检测图像/视频中的一个人，另一个版本可以检测图像/视频中的多个人。
流程主要有两个阶段：

  1. 输入RGB 图像通过卷积神经网络馈送。
  2. 单姿势或多姿势解码算法用于解码来自模型输出的姿势、姿势置信度分数、关键点位置 和关键点置信度分数。

同Mediapipe一样，我们来看看PoseNet给到我们的关键姿势点。PoseNet提供了17个关键点，不同于Mediapipe提供的3d数据点，PoseNet提供的是关键点的2d坐标，x和y。以及关键点可信度分数，使用者可以根据实际情况去做判断，范围在0.0-1.0之间，越接近1.0表示识别出来的点越正确。
在这里插入图片描述
ok，我们来看下我把posenet这一套通过tf-lite加载的形式在unity上的呈现效果。
在这里插入图片描述

MoveNet

MoveNet是一种超快速且准确的模型，可检测身体的 17 个关键点。该模型在TF Hub上提供，有两种变体，称为 Lightning 和 Thunder。Lightning 适用于延迟关键的应用程序，而 Thunder 适用于需要高精度的应用程序。在大多数现代台式机、笔记本电脑和手机上，这两种模型的运行速度都比实时 (30+ FPS) 快，这对于现场健身、健康和保健应用至关重要。

我们可以看到movenet的识别出来的点的效果如下：
在这里插入图片描述
官方从tf hub 加载模型代码：

model_name = "movenet_lightning"

if "tflite" in model_name:
  if "movenet_lightning_f16" in model_name:
    !wget -q -O model.tflite https://tfhub.dev/google/lite-model/movenet/singlepose/lightning/tflite/float16/4?lite-format=tflite
    input_size = 192
  elif "movenet_thunder_f16" in model_name:
    !wget -q -O model.tflite https://tfhub.dev/google/lite-model/movenet/singlepose/thunder/tflite/float16/4?lite-format=tflite
    input_size = 256
  elif "movenet_lightning_int8" in model_name:
    !wget -q -O model.tflite https://tfhub.dev/google/lite-model/movenet/singlepose/lightning/tflite/int8/4?lite-format=tflite
    input_size = 192
  elif "movenet_thunder_int8" in model_name:
    !wget -q -O model.tflite https://tfhub.dev/google/lite-model/movenet/singlepose/thunder/tflite/int8/4?lite-format=tflite
    input_size = 256
  else:
    raise ValueError("Unsupported model name: %s" % model_name)

  # Initialize the TFLite interpreter
  interpreter = tf.lite.Interpreter(model_path="model.tflite")
  interpreter.allocate_tensors()

  def movenet(input_image):
    """Runs detection on an input image.

    Args:
      input_image: A [1, height, width, 3] tensor represents the input image
        pixels. Note that the height/width should already be resized and match the
        expected input resolution of the model before passing into this function.

    Returns:
      A [1, 1, 17, 3] float numpy array representing the predicted keypoint
      coordinates and scores.
    """
    # TF Lite format expects tensor type of uint8.
    input_image = tf.cast(input_image, dtype=tf.uint8)
    input_details = interpreter.get_input_details()
    output_details = interpreter.get_output_details()
    interpreter.set_tensor(input_details[0]['index'], input_image.numpy())
    # Invoke inference.
    interpreter.invoke()
    # Get the model prediction.
    keypoints_with_scores = interpreter.get_tensor(output_details[0]['index'])
    return keypoints_with_scores

else:
  if "movenet_lightning" in model_name:
    module = hub.load("https://tfhub.dev/google/movenet/singlepose/lightning/4")
    input_size = 192
  elif "movenet_thunder" in model_name:
    module = hub.load("https://tfhub.dev/google/movenet/singlepose/thunder/4")
    input_size = 256
  else:
    raise ValueError("Unsupported model name: %s" % model_name)

  def movenet(input_image):
    """Runs detection on an input image.

    Args:
      input_image: A [1, height, width, 3] tensor represents the input image
        pixels. Note that the height/width should already be resized and match the
        expected input resolution of the model before passing into this function.

    Returns:
      A [1, 1, 17, 3] float numpy array representing the predicted keypoint
      coordinates and scores.
    """
    model = module.signatures['serving_default']

    # SavedModel format expects tensor type of int32.
    input_image = tf.cast(input_image, dtype=tf.int32)
    # Run model inference.
    outputs = model(input_image)
    # Output is a [1, 1, 17, 3] tensor.
    keypoints_with_scores = outputs['output_0'].numpy()
    return keypoints_with_scores

实际生产过程中，movenet主要通过tf-lite去加载计算，可以分为单人和多人。tf-hub地址如下：地址。测试发现，从帧率和效果上来说，movenet比mediapipe效果要好一点。
但是在unity使用中，我发现movenet的tf-lite模型在unity中遇到了unity barracuda插件转换的问题，单人的tf-lite可用，但是多人无法转换。已知是unity barracuda插件问题，已提交issues，但目前还没走通。

不熟悉unity barracuda的同学可以移步这里
主要用于在untiy中集成神经网络算法。

OpenPose

OpenPose是我在github上搜到的一个人体姿态识别的一个算法方案。
主要功能：

  1. 2D实时多人关键点检测：15、18 或25 关键点身体/足部关键点估计，包括6 个足部关键点。运行时不受检测到的人数的影响。2x21-keypoint 手部关键点估计。运行时间取决于检测到的人数。70个关键点人脸关键点估计。运行时间取决于检测到的人数。
  2. 3D实时单人关键点检测

其实可以理解成在效果产出和姿态识别角度来说，是mediapipe和posenet的综合体。

效果如下：
在这里插入图片描述

OpenMMD

OpenMMD是一个可以直接分析现成视频（各种MP4, AVI等视频格式），自动生成vmd动作文件的工具。
这个方案无法做到实时转换，即使你的输入源是摄像头的话，也必须录完以后生成动捕文件，然后再把动捕文件绑定到模型上才可以完成。
OpenMMD具体使用教程在b站上有一个大佬总结的很清楚了，但有一个问题，他只能绑定在mmd模型上，mmd模型在游戏里的通用性并不大，属于比较小范围的应用。尝试了几种模型之间互转的方案，Blender等，但无果，转换起来没那么简单。
这是我迁移后的效果，左边是mmd模型，成功跑通。
在这里插入图片描述

总结

以上五种方案，简单总结如下：
在这里插入图片描述

参考链接

  1. BlazeFace
  2. Mediapipe Pose
  3. PoseNet
  4. MoveNet
  5. OpenPose
  6. OpenMMD

个人微信公共账号已上线，欢迎关注：
在这里插入图片描述

jieqiang3
关注
  • 13
    点赞
  • 踩
  • 189
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
人体姿态识别
10-26
CVPR2017的最新论文，实时的人体姿态估计算法。对深度学习爱好者有帮助
基于人体姿态识别的AI健身系统(浅谈
qq_43741419的博客
02-25 2万+
本文设计了一个基于 OpenCv 和 MediaPipe 中的 BlazePose 算法的 AI 健身教 练系统。该系统主要内容包括对于单人人体关键点的检测，关键点的连接，以及运动健 身关键点的角度变化展示。该 AI 健身教练系统可以实现从读入图片或者视频文件来处 理，显示出该运动健身的关键点的角度变化。
【学习笔记】人体姿态识别
码海畅游记录
10-18 8267
概念 人体姿态识别（Pose Estimation）是检测图像或者视频中人体关键点的位置、构建人体骨架图的过程。利用人体姿态信息可以进一步进行动作识别、人机信息交互、异常行为检测等任务。然而，人的肢体比较灵活，姿态特征在视觉上变化比较大，并且容易受到视角和服饰变化的影响。 2D人体姿态识别 自底向上算法 自底向上算法也称为 part-based 方法，它首先检测出图像或视频中人体的关键点，然后对不同关键点进行匹配，将属于一个人的关键点连接起来。这类方法的识别速度不会受图像或视频中人数的影响，并能有较小的模型
MotionModel: 实时的人体动作识别模型
最新发布
gitblog_00055的博客
03-18 389
MotionModel: 实时的人体动作识别模型 MotionModel 是一个基于 PyTorch 的实时人体动作识别模型。它可以帮助开发者们轻松地在自己的应用中实现对人体动作的精准识别。 能用来做什么？ MotionModel 可以用于各种需要人体动作识别的应用场景： 运动健康监测：例如运动损伤预防、健身动作指导等； 智慧医疗：例如老年人跌倒检测、病人康复训练等； 游戏娱乐：例如游戏中的角...
人体姿态识别+原理+代码+座姿识别(毕设可用)
2301_78240361的博客
11-01 1319
人体姿态识别+原理+代码+坐姿识别
人体识别_计算机视觉“探奇”：深度剖析基于飞桨的人体姿态识别算法
weixin_35949256的博客
01-02 806
随着深度学习技术的发展，人体骨骼关键点的检测效果也在不断提升，且被广泛应用于计算机视觉相关领域，成为许多计算机视觉任务的基础，包括安防，新零售，动作捕捉，人机交互等等。现在，大火的人体姿态识别也有了飞桨(PaddlePaddle)的实现。我们来带小伙伴们学习一下怎么利用飞桨(PaddlePaddle)来实现人体姿态的识别任务。项目地址：https://github.com/PaddleP...
人体姿态识别（附教程+代码）
2301_78240361的博客
01-10 1351
人体姿态识别（Human Pose Estimation）是一种基于计算机视觉和深度学习的技术，用于自动检测和识别人体的姿态和动作。它可以在图像或视频中准确地确定人体各个关节的位置和运动。
人体姿态识别研究综述（详细归纳！）
热门推荐
qq_38522972的博客
10-06 7万+
一，人体姿态识别数据集 1，2D数据集： LSP 地址：http://sam.johnson.io/research/lsp.html 样本数：2K 关节点个数：14 全身，单人 FLIC 地址：https://bensapp.github.io/flic-dataset.html 样本数：2W 关节点个数：9 全身，单人 MPII 地址：http://human-pos...
人体姿态检测
06-30
Python+OpenCV+OpenPose实现人体姿态估计（人体关键点检测）代码说明参见：https://blog.csdn.net/m0_38106923/article/details/89416514
通过深度图像识别人体姿势
01-15
英文论文Gesture Recognition with Depth Images - A Simple Approach
视频实时多人姿态估计cpu_fps33+_poose15.zip
12-08
多人姿态估计是近几年众多领域研究的热点问题。在学科交叉研究方面，人体姿态估计及到计算机科学、运动人体科学、环境行为学和材料科学等。已应用于自动驾驶、影视创作、安防异常事件监测和体育竞技分析、康复等实际场景。成为人工智能领域研究的前沿课题，此类研究也将在竞技体育、运动康复、日常健身等方面发挥非常重大的意义。本源码可以在免费云gpu上用cpu测试，本地如果笔记本或者台式机配置相应环境，也能用cpu运行。源码直接用预训练没有训练代码。
RFID射频识别系统详解
01-19
物联网已被确定为中国战略性新兴产业之一，《物联网“十二五”发展规划》的出台，无疑给正在发展的中国物联网又吹来一股强劲的东风，而RFID技术作为物联网发展的关键技术，其应用市场必将随着物联网的发展而扩大。 RFID射频识别技术 RFID的英文全称是Radio FrequencyIdentification，射频识别，又称电子标签，无线射频识别，感应式电子晶片，近接卡、感应卡、非接触卡、电子条码。 RFID射频识别是一种非接触式的自动识别技术，它通过射频信号自动识别目标对象并获取相关数据，识别工作无须人工干预，可工作于各种恶劣环境。 R
mspn人体姿态检测算法模型
08-16
CVPR 2019 | Rethinking on Multi-Stage Networks for Human Pose Estimation CVPR 2019 | MSPN 重新思考多阶段人体姿态估计网络模型资源 没有coco数据
AlphaPose人体姿态识别
12-07
AlphaPose 是一个精准的多人姿态估计系统，是首个在 COCO 数据集上可达到 70+ mAP（72.3 mAP，高于 Mask-RCNN 8.2 个百分点），在 MPII 数据集上可达到 80+ mAP（82.1 mAP）的开源系统。为了能将同一个人的所有姿态关联起来，AlphaPose 还提供了一个称为 Pose Flow 的在线姿态跟踪器，这也是首个在 PoseTrack 挑战数据集上达到 60+ mAP（66.5 mAP）和 50+ MOTA（58.3 MOTA）的开源在线姿态跟踪器，精准度高于现有技术的最好结果。
基于人体姿态序列提取和分析的行为识别_陈聪
12-19
利用行为识别中的视频分析技术提高姿态估计的准确率，再利用从视频中提取的姿态序列从不同角度描述人体行为，提高行为识别效果
老年公寓RFID定位识别系统解决方案详解
01-19
　关键词：识别系统定位系统RFID 　1.方案背景 　随着人口老龄化的趋势日益加快，老年人口越来越多，面临着很多老年人安全管理的事宜。而养老院是老年人活动、生活的一个很重要的场地，于是，对养老院老年人的安全...
人体姿态估计的强大算法
09-20
一种用于人体姿态估计的强大算法,可以检测并且定位人体的四肢及躯干和头部的位置，用于更高层次的分析。 (Pose estimation) 文件列表： parse_matlab parse_matlab\parseHorse.m parse_matlab\condenseLRResp.m parse_matlab\README parse_matlab\expected_genmodel_FHedgesN.m parse_matlab\util parse_matlab\util\imvq16.m parse_matlab\util\printSegs.m parse_matlab\util\oeFilterc.m parse_matlab\util\mydetGMc.m parse_matlab\util\assert.m parse_matlab\util\printSkel.m parse_matlab\util\sampleWithR.m parse_matlab\util\isum.m parse_matlab\util\buildHistExps.m parse_matlab\util\local_sum_zero.m parse_matlab\util\nonmax.m parse_matlab\horse001.jpg parse_matlab\partshiftZ0.m parse_matlab\GPL parse_matlab\horseModel.mat parse_matlab\expected_genmodel_FHedgecolsW.m parse_matlab\im0229.jpg parse_matlab\getSegmentsEdge.m parse_matlab\peopleModel.mat parse_matlab\sample_genmodel_FHedgecolsW.m parse_matlab\avgSegmentsEdge.m parse_matlab\HorseConvRun.mat parse_matlab\im0229.dat parse_matlab\parseim.m parse_matlab\parsePerson.m
Facenet人脸识别算法详解
05-22
Facenet是一种基于深度学习的人脸识别算法，由Google的研究人员Schroff、Kalenichenko和Philbin在2015年提出。Facenet通过将人脸图像转换为高维向量，并使用这些向量来进行人脸匹配和识别。 Facenet的核心思想是使用卷积神经网络（Convolutional Neural Network, CNN）来学习人脸图像的表示。它通过将人脸图像输入到CNN中，使用多个卷积层和池化层来提取图像的特征。然后，它使用全连接层来将这些特征转换为高维向量，称为人脸嵌入（Face Embedding）。这个嵌入向量可以用于人脸匹配和识别。 具体来说，Facenet使用了一种称为三元组损失（Triplet Loss）的方法来训练模型。这种方法通过比较三张图像的嵌入向量，来学习如何将同一个人的图像嵌入向量尽可能地靠近，将不同人的图像嵌入向量尽可能地分开。这个方法能够使得Facenet在处理大规模人脸数据时，具有较高的准确性和鲁棒性。 Facenet已经被广泛应用于人脸识别和验证领域，包括Google Photos、Facebook和Uber等公司。它被认为是当前最先进的人脸识别算法之一，具有很高的准确性和鲁棒性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值