2021-09-15

欢迎使用Markdown编辑器

你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

论文摘要

本文是2020年3月在CVIU发表的文章。
作为在计算机视觉领域中的众多基础问题之一，以视觉为基础的单目人体姿态估计（HPE）的目的在于，从输入图片或视频序列中获取人体的姿态。深度学习（deep learning）在近年来的迅速发展使得HPE领域有了长足的进步和显著的突破。本文将全面地去审视分析自2014年以来公布的基于深度学习的2D和3D的HPE方法。本文中总结了各种挑战、主要框架、基准数据集、评价指标、性能比较，同时预测未来的研究方向。

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

1. 全新的界面设计 ，将会带来全新的写作体验；
2. 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
3. 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
4. 全新的 KaTeX数学公式 语法；
5. 增加了支持甘特图的mermaid语法¹ 功能；
6. 增加了 多屏幕编辑 Markdown文章功能；
7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
8. 增加了 检查列表 功能。

1、论文介绍

HPE这一课题，目前已经发展数十年，目的在于从给定的传感器输入中获取人体姿态。我们通常通过使用相机采用以视觉为基础的方法来为HPE提供方法。近年来，由于深度学习在图像分类、目标检测、语义分割等方面的表现优异，使用深度学习的方法也使得HPE工作的进步非常显著。其中主要包括设计精巧具有良好的评估能力的网络结构、丰富的数据集（包含各种丰富的人体模型，可以放入网络进行训练）。尽管目前已有一些对于HPE的归纳总结，但是仍然缺少对于基于深度学习方法的人体姿态估计的归纳总结。本文总结基于深度学习的2D/3D人体姿态估计的方法（单目图片或视频录像中进行提取）。HPE的算法需要依赖于其他的传感器，例如深度、红外光源、射频信号（本文的归纳总结中不包含多目图像信息）。

作为在计算机视觉领域中的众多基础问题之一，单目人体姿态估计（HPE）可以在众多场景下进行应用，例如动作/行为识别、动作检测、人员跟踪、影视动画、虚拟现实、人机交互、视频监控、医疗辅助、自动驾驶、运动运动分析等。

影视动画 ：各种栩栩如生的荧幕上人物的产生，离不开对人体动作的捕捉。廉价而准确的人体动作捕捉系统可以更好地推动数字娱乐产业的发展。
虚拟现实(VR) ： 虚拟现实是一个非常有前景的技术，它既可以应用在教育领域也可以应用在娱乐领域。人体姿态估计可以进一步明确人与虚拟现实世界的关系，增强交互体验。
人机交互(HCI) ：HPE可以使得计算机和机器人可以更好地理解人物地识别、定位、动作。通过人类的姿势（例如手势），计算机和机器人可以用更简便更智能的方式执行指令。
视频监控 ：视频监控是采用 HPE 技术在特定范围内进行跟踪、动作识别、重新识别人员的早期应用之一。
医疗救助 ：在医疗救助的应用中，HPE可以为医生提供定量的人体运动信息，特别是用于康复训练和物理治疗。
自动驾驶 ：先进的自动驾驶技术近年来的发展十分迅速。通过HPE技术，自动驾驶汽车可以更准确地对行人地运动产生反应，并与交通协调员更好地互动。
体育运动分析 ：在体育比赛录像中估计运动员的姿态可以进一步获得运动员指标的统计数据（例如跑步距离、跳跃次数）。在训练期间，HPE可以提供行动细节的定量分析。在体育教学中，教师可以通过HPE对学生做出更客观的评价。

图1 单目图片/视频HPE的典型难点。图片来自于MPII数据集

单目人体姿态估计的典型特点和难点如图1所示，主要包含三个方面：

• 灵活的身体配置表明复杂的相互依赖的关节和高度自由的四肢，这可能会导致自遮挡或罕见/复杂的姿势。
• 种类丰富的人体外表面，包括不同的衣物、身体各关节外表面相似
• 复杂的环境可能会造成前景遮挡，靠近的人体相似或遮挡，视角多样，图片中存在的截断问题。

人体姿态估计的论文可以归纳为不同的方式。以是否采用人体模型为基础，可以分为生成方式（以模型为基础）和判别方式（没有模型参与）。根据从哪个层次（高级抽象或低级像素证据）开始处理，
它们可以分为自顶向下的方法和自底向上的方法。 表2中总结了HPE方法的不同类别策略的更多详细信息，并在第2.1节中进行了描述。

正如像在表1中列举的，随着近十年HPE的迅速发展，一些值得注意的调研总结了该领域的研究工作。这些调查（Aggarwal 和 Cai，1999 年；Gavrila，1999 年；Poppe，2007 年；Ji 和 Liu，2010 年；Moeslund 等人，2011 年）回顾了人体运动分析在许多方面的早期工作（例如，检测和跟踪、姿态估计识别）并描述了人体姿态估计与其他相关任务之间的关系。而胡等人总结了视频监控应用中人体运动分析的研究，测评（Moeslund 和 Granum，2001；Moeslund 等，2006）集中在人体运动捕捉系统上。 最近的调查主要是专注于相对狭窄的方向，例如基于RGB-D的动作识别（Chen 等，2013；Wang 等，2018b）、3D人体姿态估计（Sminchisescu，2008；Holte 等，2012；Sarafianos 等， 2016）、基于模型的 HPE（Holte 等人，2012 年；Perez-Sala 等人，2014 年）、基于身体部位的HPE（Liu 等人，2015 年）和基于单眼的 HPE（Sminchisescu，2008 年；Gong 等人） ., 2016)。
与这些存在的评价论文都不同，本文全面地总结了从2014年开始各个具有里程碑意义的基于深度学习的人体姿态估计方法。 为了提供一个全面的总结，本次调查包括一些在一些调查中已经讨论过的研究工作（Liu et al., 2015; Gong et al., 2016; Sarafianos et al., 2016），但大多数近期的进展并没用在调研中加以体现。

本文的其余部分安排如下。 第2节介绍了现有的人体运动分析和HPE的综述论文，对HPE方法进行分类的不同方式，以及广泛使用的人体模型。 第3节和第4节分别描述了2D HPE和3D HPE方法。在每一节中，我们进一步描述了用于单人姿势估计和多人姿势估计的HPE方法。 由于数据是基于深度学习的方法的一个非常重要和基本的元素，最近的HPE数据集和评估指标在第 5 节中进行了总结。最后，第6节总结了论文并讨论了几个有前途的未来研究方向。

表1 人体运动分析和HPE的相关调查总结

表2 基于深度学习的单目人体姿态估计方法分类

2、HPE方法的分类和人体模型

2.1、HPE方法分类
这一节中基于不同的特征总结了基于深度学习的HPE方法：
（1）生成（以人体模型为基础）和判别（不基于人体模型）；
（2）自顶向下和自下而上；
（3）基于回归（直接从输入图像映射关节点）和基于检测（产生中间阶段的关键点置信图或热力图）；
（4）单阶段（端到端训练）和多阶段（多个阶段同时训练）；
生成和判别 ：生成方法和判别方法之间的主要区别在于方法是否使用人体模型。 基于人体模型的不同表示，生成方法可以以不同的方式进行处理，例如对人体模型结构的先验信念，从不同视图到2D或3D空间的几何投影，回归方式的高维参数空间优化 . 人体模型表示的更多细节可以在第 2.2 节中找到。 判别方法直接学习从输入源到人体姿态空间的映射（基于学习）或在现有示例中搜索（基于示例），而不使用人体模型。 判别方法通常比生成方法更快，但对于从未训练过的姿态可能具有较低的鲁棒性。

自顶向下和自下而上 ：对于多人姿态估计，HPE方法根据预测的起点，一般可以分为自顶向下和自下而上两种方法。 自顶向下的方法从顶层开始到第一次检测人并在边界框中生成人的位置。然后对每个人进行姿势估计。 相比之下，自下而上的方法首先预测输入图像中每个人的所有身体部位，然后通过人体模型拟合或其他算法对它们进行分组。 请注意，根据不同的方法，身体部位可能是关节、四肢或小模板补丁。 随着图像中人数的增加，自顶向下方法的计算成本显着增加，而自底向上方法的计算成本保持稳定。 但是，如果有一些人有很大的重叠，自下而上的方法将面临对相应身体部位进行分组的挑战。

基于回归和基于检测 ：基于不同的问题表述，基于深度学习的人体姿态估计方法可以分为基于回归或基于检测的方法。 基于回归的方法直接将输入图像映射到身体关节的坐标或人体模型的参数。 基于检测的方法基于两种广泛使用的表示将身体部位视为检测目标：图像块和关节位置的热图。 从图像到关节坐标的直接映射非常困难，因为它是一个高度非线性的问题，而小区域表示提供具有更强鲁棒性的密集像素信息。 与原始图像尺寸相比，小区域表示的检测结果限制了最终关节坐标的准确性。

单阶段和多阶段 ：基于深度学习的单阶段方法旨在通过使用端到端网络将输入图像映射到人体姿势，而多阶段方法通常在多个阶段预测人体姿势，并伴有中间监督。 例如，一些多人姿态估计方法首先检测人的位置，然后为每个检测到的人估计人体姿态。其他 3D 人体姿态估计方法首先预测 2D 表面中的关节位置，然后将其扩展到 3D 空间。 单阶段方法的训练比多阶段方法更容易，但中间约束较少。

2.2、人体模型
人体建模是人体姿态估计的关键内容。人体是一个灵活而复杂的非刚性物体，具有运动学结构、体型、表面纹理、身体部位或身体关节的位置等许多特定特征。成熟的人体模型不一定要包含所有人类 身体属性，但应满足构建和描述人体姿势的特定任务的要求。基于不同的表示层次和应用场景，如图2所示，HPE中常用的人体模型分为三类：基于骨架的模型、基于轮廓的模型和基于体积的模型。 有关人体模型的更详细描述，我们向感兴趣的读者推荐两篇总结良好的论文（Liu等人，2015年Gong 等人，2016 年）。

图2 经常使用的人体模型。（a）基于骨架的模型（b）基于轮廓的模型（c）基于体积的模型

基于骨架的模型 ：也称为简笔画或运动学模型，表示一组关节（通常在10到30个之间）位置和遵循人体骨骼结构的相应肢体方向。 基于骨架的模型也可以描述为一个图，其中顶点表示关节和边编码约束或骨架结构内关节的先验连接（Felzenszwalb 和 Huttenlocher，2005年）。这个人体拓扑非常简单和灵活，广泛用于 2D 和 3D HPE（Cao 等人，2016 年；Mehta 等人，2017c）和人体姿势数据集（Andriluka 等人，2014 年；Wu 等人，2017 年）。具有简单灵活表现的明显优点，但也存在缺乏纹理信息，即没有人体的宽度和轮廓信息等诸多缺点。

基于轮廓的模型 ：基于轮廓的模型广泛用于早期的HPE方法，其中包含身体四肢和躯干的粗略宽度和轮廓信息。人体部位大致用矩形或人物轮廓的边界表示。广泛使用的基于轮廓的模型包括纸板模型 (Ju et al.,1996) 和 Active Shape Models (ASMs) (Cootes et al.,1995)。

基于体积模型 ：3D人体形状和姿势通常由基于体积的几何模型表示形状或网格。 早期用于身体部位建模的几何形状包括圆柱、圆锥等（Sidenbladh 等，2000）。现代基于体积的模型以网格形式表示，通常使用 3D 扫描捕获。 广泛使用的基于体积的模型包括人物形状完成和动画（SCAPE）（Anguelov 等人，2005 年）、蒙皮多人线性模型（SMPL）（Loper 等人，2015 年）和统一变形模型（Joo 等人，2018 年）。

3、2D人体姿态估计
2D 人体姿态估计从单眼图像或视频中计算人体关节的位置。 在深度学习对基于视觉的人体姿态估计带来巨大影响之前，传统的 2D HPE 算法采用手工特征提取和复杂的身体模型来获取局部表示和全局姿态结构（Dantone 等人，2013 年；Chen和Yuille，2014 年） ; Gkioxari 等人，2014b)。 在这里，最近基于深度学习的二维人体姿态估计方法分为“单人姿态估计”和“多人姿态估计”。

3.1、2D单人人体姿态估计
2D 单人姿态估计是在输入图像中定位单个人的身体关节位置。对于有更多人的图像，需要预处理以裁剪原始图像，以便输入图像中只有一个人，例如使用上身检测器（Eichner and Ferrari，2012a）或全身检测器（Ren et al., 2015)，并根据带注释的人中心和身体比例从原始图像中裁剪 (Andriluka et al., 2014; Newell et al., 2016)。 将深度学习引入人体姿态估计的早期工作主要是通过简单地用神经网络替换框架的一些组件来扩展传统的HPE方法（Jain 等人，2013 年；欧阳等人，2014 年）。

基于人体姿态估计任务的不同表述，所提出的使用 CNN 的方法可以分为两类：基于回归的方法和基于检测的方法。基于回归的方法试图通过端到端框架学习从图像到运动学身体关节坐标的映射，并且通常直接生成关节坐标（Toshev 和 Szegedy，2014）。基于检测的方法旨在预测身体部位（Chen 和 Yuille，2014 年）或关节（Newell 等人，2016 年）的大致位置，通常由一系列矩形窗口（每个都包括一个特定的身体部位）监督（Jain等人，2013 年；Chen 和 Yuille，2014 年）或热图（每个都通过以关节位置为中心的二维高斯分布指示一个关节位置）（Newell 等人，2016 年；Wei 等人，2016 年）。这两种中的每一种方法有其优点和缺点。只有一个点的直接回归学习是一个困难，因为它是一个高度非线性的问题，缺乏鲁棒性，而热图学习是由密集的像素信息监督的，这导致了更好的鲁棒性。与原始图像尺寸相比，由于 CNN 中的池化操作，热图表示的分辨率要低得多，这限制了联合坐标估计的准确性。从热图中获取联合坐标通常是一个不可微的过程，它会阻止网络进行端到端的训练。近期二维单人姿态估计的代表性工作总结在表 3 中，最后一列是 MPII 测试集PCKh@0.5 分数的比较。数据集和评估指标的更多细节在第 5 节中描述。
撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替换：Ctrl/Command + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H₂O is是液体。

2¹⁰ 运算结果是 1024.

插入链接与图片

链接: link.

图片:

带尺寸的图片:

居中的图片:

居中并且带尺寸的图片:

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

• 项目
  • 项目
    • 项目

1. 项目1
2. 项目2
3. 项目3

• 计划任务
• 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目	Value
电脑	$1600
手机	$12
导管	$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列	第二列	第三列
第一列文本居中	第二列文本居右	第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPE	ASCII	HTML
Single backticks	'Isn't this fun?'	‘Isn’t this fun?’
Quotes	"Isn't this fun?"	“Isn’t this fun?”
Dashes	-- is en-dash, --- is em-dash	– is en-dash, — is em-dash

创建一个自定义列表

Markdown

Text-to- HTML conversion tool

Authors

John

Luke

如何创建一个注脚

一个具有注脚的文本。²

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 $\Gamma (n)=(n-1)!\forall n\in \mathbb{N}$ 是通过欧拉积分

$$\Gamma (z)={\int }_0^{\infty }{t}^{z-1}{e}^{-t}dt.$$

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

• 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：

这将产生一个流程图。:

• 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

• 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

---

1. mermaid语法说明 ↩︎

2. 注脚的解释 ↩︎