学习关于 2D 和 3D 姿势估计的知识

介绍

让我们了解一下如何将姿势估计用于 Snapchat 滤镜。你有没有想过 Snapchat 的滤镜为什么这么吸引人？Snapchat 上的滤镜种类繁多，从有趣的到化妆的滤镜。这更像是滑动滤镜并选择一个你感兴趣的滤镜来拍照。

阅读本文并不需要任何有关姿势估计的基础知识。本文从头到尾总结了有关姿态估计的所有关键点和重要主题。文章的开头包括什么是姿态估计以及为什么我们必须了解姿态估计。本文从头部、手部、人体、2D、3D 以及更多姿势估计中描述了多种姿势估计。之后，我们将使用各种公共数据集，用于使用流行算法进行姿势估计。

阅读本文后，你将获得所有与 2D 姿态估计和 3D 姿态估计相关的信息，以及一个使用 OpenPose 算法进行 2D 人体姿态估计的迷你项目。

什么是姿势估计？

姿势估计是一种在图像或视频中检测对象或人的位置和轨迹的计算机视觉技术。该过程通过查看给定对象或人的姿势方向组合来执行。根据点的方向，我们可以比较一个人或一个对象的各种时刻和姿势，并得出一些见解。

姿态估计主要是通过识别对象/人的关键点，甚至通过识别位置来完成的。

• 对于对象：关键点将是对象的角或边缘。

• 对于图像：包含人类的图像，关键点可以是肘部、手腕、手指、膝盖等。

计算机视觉中最令人兴奋的研究领域之一是各种类型的姿态估计。使用姿势估计技术有很多好处。

姿态估计的应用

如今，在市场上，有大量使用计算机视觉技术的应用程序。特别是由于有效的跟踪系统和姿态估计的测量。让我们通过示例来看看姿势估计的一些应用。

1) 增强现实元宇宙

元宇宙突破科技界，吸引了从年轻人到老年人的普遍关注。元宇宙将 3D 元素固定在现实世界中的对象/人上，使它们看起来非常真实，为人们创造了一个进入另一个宇宙的环境，并有助于体验奇妙的事物。适用于元宇宙解决方案的应用程序是姿势估计、眼动追踪、语音和面部追踪。

姿态估计的有用用例之一是在美国陆军中使用，它们可以区分敌军和友军。

2) 医疗保健和健身行业

新冠时代，健身行业高速发展，有无数消费者加入了疯狂的健身行列。健身应用的快速增长提供了高效的健康监测图表和健身计划。

此外，一些应用程序在错误检测和向消费者反馈方面提供了令人惊讶的结果。这些应用程序利用计算机视觉中的姿势估计技术来最大程度地减少锻炼时受伤的可能性。

3) 机器人

姿势估计被集成到机器人技术中。它被应用于机器人的训练中，他们学习人的动作。

为什么我们使用姿势估计？

人的检测在检测部分中起着主要作用。随着机器学习（ML）算法的最新发展，姿势检测和姿势跟踪很容易使用。

在对象检测等传统方法中，我们只能被感知为一个方形边界框。随着姿势检测和姿势跟踪的进步，机器可以轻松学习人体语言。在姿态估计的帮助下，我们可以在粒度级别跟踪对象。这些强大的技术为在现实世界中应用开辟了广泛的可能性。

为了跟踪人类的运动和活动，姿势估计具有多个应用范围，例如增强现实、医疗保健部门和机器人技术。例如，人体姿态估计可以以多种方式使用，例如通过结合人体姿态估计和距离投影启发式方法来保持银行队列中的社交距离。它将帮助人们保持银行中的卫生规则和规定，也有助于在人满为患的地方保持物理距离。

另一个可以使用姿势跟踪和姿势估计的例子是在自动驾驶汽车中。当车辆无法理解行人行为时，大多数事故都是由自动驾驶汽车引起的。在姿态估计的帮助下，模型将得到更好的训练。

多人姿态估计方法

用于姿态估计的两种常用方法：

1）自上而下的方法：

首先，我们将检测人并在每个人周围制作边界框。然后我们将估计身体的部位。之后，我们可以将每个关节分类为正确的人。这种方法被称为自上而下的方法。

2) 自下而上的方法：

首先，我们将检测图像中的所有部分，然后关联/分组属于不同人的部分。这种方法被称为自下而上的方法。

在一般情况下，自上而下的方法比自下而上的方法消耗更多的时间。

姿势估计模型

近年来，随着深度学习解决方案的快速发展，它在姿势估计等多项任务（包括图像分割和对象检测）中的表现优于一些计算机视觉方法。

存在几种用于姿势估计的模型。模型选择取决于问题的要求。在选择模型时，我们还需要考虑无数因素，可以是运行时间、模型的大小等等。

在这里，我将列出互联网上最流行的姿势估计库。我们可以根据我们的用例轻松自定义它们。

1. OpenPose

2. High-Resolution Net (HRNet)

3. Blaze pose

4. Regional Multi-Person Pose Estimation (AlphaPose)

5. Deep Pose

6. PoseNet

7. Dense pose

8. Deep cut

1) OpenPose

OpenPose 被称为基于开源视频的人体姿态估计。OpenpPose 架构在预