Pose Machines: Articulated Pose Estimation via Inference Machines论文阅读

Pose Machines: Articulated Pose Estimation via Inference Machines 姿态机器:通过推理机进行关节式姿态估计

Abstract

在这篇文章中，不是在一个学习过的图形模型上进行推理，而是建立在推理机框架上，并提出一种关节式人体姿态估计的方法。

Introduction

图形模型中的推理是困难和不精确的，例如树形结构或星形结构的模型。这些简化模型无法捕捉每个零件位置之间的重要相关性，并导致特征误差。一个这样的错误——重复计数(见图1)——发生在图像的同一区域被用来解释多个部分的时候。发生这种错误是因为身体部位的对称外观(例如，左臂和右臂通常具有相似的外观)，并且这是使各部位相互咬合的有效配置。

从概念上来说，提出的方法，我们称之为姿势机器，是一种顺序预测算法，它模拟消息传递的机制来预测每个变量(部分)的置信度，迭代地改进每个阶段的估计。

推理机体系结构特别适合解决姿态估计中的主要挑战。首先，它一次包含了多个变量之间更丰富的交互，减少了重复计数等错误。第二，它直接从数据中学习表达空间模型，而不需要指定潜在函数的参数形式。第三，它的模块化架构允许使用高容量预测器，这更适合处理每个部件的高度多模式外观。

Related Work

我们的方法在广义上与深度学习方法[22]有些相似，也是一个多层模块化网络。然而，与以全局方式(例如，使用反向传播)训练的深度学习方法相反，每个模块以监督方式在本地训练。我们的方法将零件定位简化为一系列预测。连续预测的使用——将预测器的输出从前一个阶段馈送到下一个阶段

Pose Inference Machines

将关节式姿态估计问题视为结构化预测问题。也就是说，我们对图像中每个解剖标志(我们称之为一部分)的像素位置建模。

其中

是图像中所有(u，v)位置的集合。目标是预测结构化输出
推理机由一系列多类分类器

组成，些分类器被训练用来预测每个零件的位置。

在每个阶段

分类器基于图像数据

的特征和来自每个

周围的邻域中的先前分类器的上下文信息，预测将位置分配给每个部分

的置信度。
在每个阶段，计算出的置信度为变量提供了越来越精确的估计。对于序列的每个阶段t，分配

的置信度被计算并表示为

其中

是在第p部分的每个位置z评估的来自先前分类器的置信度集合。
特征函数

从分类器以前的置信度计算上下文特征，并且

表示向量连接的运算符。

与传统的图形模型不同，例如图形结构，推理机框架不需要通过潜在函数对变量之间的依赖关系进行显式建模。相反，依赖关系是使用分类器任意组合的，这有可能实现变量之间的复杂交互。通过一系列更简单的子问题直接训练推理过程，允许我们使用任何监督学习算法来解决每个子问题。我们能够利用最先进的监督学习，并使用能够处理多模态变化的复杂预测器。

我们定义了从较小的原子零件到较大的复合零件的零件层次结构。层次结构的每一层都有不同类型的部分。在最粗糙的层次上，这个层次是由一个捕捉整个身体的单一部分组成的。层次的下一层由模拟完整肢体的复合部分组成，而层次的最细层由模拟解剖标志周围区域的小部分组成。

我们制作M个副本，每个副本在训练数据的M个分割之一上训练。为了创建下一阶段的训练数据，对于每个训练样本，我们使用没有看到样本的预测器的副本(即样本在该预测器的保留数据中)。以这种方式进行会创建一个数据集，以在前一阶段的输出上训练下一阶段，确保输出模拟测试时的行为。我们为每个后续阶段重复堆叠过程。堆叠过程仅在训练期间执行，以便为后续阶段创建训练数据集。在测试时，我们在每个阶段使用一个预测器，该预测器使用所有数据进行训练。