Exploiting Static and Dynamic Human Joint Relations for 3D Pose Estimation via Cascade Transformers

利用人体静、动态关节关系进行三维姿态估计的级联变压器

摘要

Transformer已经成为自然语言处理（NLP）中的主导模型。研究人员最近试图利用Transformer架构进行各种计算机视觉任务，并取得了有竞争力的结果。然而，很少有工作已经做了探索Transformer架构的三维人体姿态估计（HPE）。在这项工作中，我们提出了级联变压器，一种新的基于变压器的方法，从一个单一的图像三维HPE。具体而言，我们的级联变压器包括两个变压器编码器，分别利用静态和动态的人类关节关系。利用自我注意力模块和级联结构，我们的方法全面模拟静态和动态人体关节关系。我们在Human3.6M上评估我们的方法。大量的实验表明，我们的方法取得了优异的性能，而无需明确使用人体骨架先验。值得注意的是，即使PoseFormer使用9帧来预测姿势，我们的单图像方法也实现了与当前最好的基于变换器的方法PoseFormer大致相同的性能。

我们尝试基于Transformer进行特定设计，并重点研究变压器从单个图像从2D到3D提升HPE的能力。直观地，静态和动态人体关节关系都有助于3D HPE。静态关节关系是动作不可知的，而动态关系是动作特定的。出于直觉，我们设计了一个基于变换的模型，利用静态和动态的联合关系。我们的贡献是双重的：

·我们提出了一种利用静态人体关节关系的Transformer，该变换器仅使用关节类型信息来计算每层中不同关节之间的注意力权重。建议的Transformer可以被用来作为一个独立的3D姿态检测器或作为我们的级联变压器的第一个编码器。

·受作品[4]、[12]的启发，其使用级联网络来细化2D人体姿势的预测，我们提出了利用静态和动态人体关节关系的级联变换器，其中第二编码器通过使用动态关节坐标信息来捕获动态关系以计算不同关节之间的注意力权重，并细化第一编码器的3D姿势预测。

方法

我们的架构从一个单一的图像的3D姿态估计是基于变换器，并具有2D和3D姿态作为其输入和输出。在本节中，我们首先介绍一个简单的基线：Transformer开发动态人体关节关系。然后，我们提出了一个Transformer利用静态人体关节关系，它可以被用作一个独立的3D姿态检测器或作为级联变压器的第一个编码器。最后，我们提出了级联变压器，利用静态和动态人体关节关系。

A.简单基线

利用动态人体关节关系动态人体关节关系是特定于动作的，并且随着动作的不同而变化。例如，手足关系对于“慢跑”很重要，而对于“拥抱”则不重要。这种联合关系不能被跨所有动作固定的静态联合关系捕获。直观地，动态关节关系可以从表示动作特定姿势的关节坐标中学习。因此，我们介绍了一个基于变压器的简单基线对应的想法。

如示于图在图1（a）中，我们的简单基线是通过使用动态关节坐标信息来计算不同关节之间的注意力权重来利用动态人体关节关系的Transformer（称为变换器D）。Transformer D具有由若干变压器编码器层组成的一个变压器编码器[1]。每层有两个主要的子模块，如图所示。图1（c）：多头注意和前馈网络。在每个子模块之后应用残余连接[35]和LayerNorm [2]。

B.利用静态人体关节关系的Transformer

我们观察到人类骨骼结构良好，并且每个关节都有其自己的关节类型（例如，“头”，“右脚”）具有高级语义[3]。因此，在所有动作中，一些特定关节类型的坐标密切相关，而这些关节与其他关节没有这种强关系。例如，左臂上的关节密切相关，而这些关节与其他关节的相关性较低。我们将这些紧密相关的关节关系定义为静态关节关系。它们与动作无关，并且在所有动作中都是固定的，并且仅取决于关节类型而不是动态关节坐标。

 因此，我们提出了一种利用静态人类关节关系的Transformer（称为变换器S），如图1左侧所示。第1段（B）分段。该模型通过仅使用关节类型信息来计算各层中不同关节之间的注意力权重来捕获静态关系。