Human Pose Estimation with Spatial Contextual Information（CVPR2019）

问题：姿态估计关节点遮挡问题

思路：捕获关节点之间的空间相关性，进行关节点信息的传播，来预测以及纠正其他关节点

方法：级联预测融合（CPF）和姿态图神经网络（PGNN）

1 摘要

本文讨论了空间上下文信息在人体姿态估计中的重要性。本文提出了两个模块级联预测融合（CPF）和姿态图神经网络（PGNN），利用潜在的上下文信息。级联预测融合（CPF）累计来自前一个阶段的预测映射，已提取信息，得到的特征作为先验来知道后序阶段的一簇额。姿态图神经网络（PGNN）促进关节点之间的空间关系传播。

2 引言

姿态估计中挑战包括外表的巨大变化，不常见身体姿势和遮挡。

本文认为用多阶段的学习过程是有效的，不同阶段的预测具有不同的性质。具体来说，来自较低层次的预测具有更精确的定位信息，而来自较高层次的预测具有更强的语义信息。

本文还设计了一种姿态图神经网络，灵活而高效的学习身体关节的结构化表示。PGNN建立在一个可以继承的各种姿态估计网络的图上。图中的每个关节点登与相邻的身体部位相关联。因此，通过边缘构造来捕捉空间关系，实现不同关节点之间的直接消息传播。

下图为多阶段预测通道，生成一组辅助预测。在第一阶段，容易识别易变形的关节点，而其他关节点位置不清楚。第二阶段，关节点之间的相对位置有助于解决起义。第三阶段，所有关节点都收敛到最终的预测

 贡献：

1. 提出了Cascade Prediction Fusion网络用来预测关键点
2. 提出了Pose Graph Neural Network, 用来对1预测的关键点进行修正

方法

3.1. Cascade Prediction Fusion (CPF) 

图框架图所示，CPF网络仍然是multi-stage的形式, 但对pred heatmap做了不一样的处理. stage t 得到的heatmap不再是直接作为 stage t+1 的输入, 而是先经过 1x1 conv 增加 channel 数, 再和 stage t+1 的featuremap element-wise add之后, 再得到 stage t+1 的heatmap 输出. 文章说这么做可以最大程度的保留前面层网络提取到的位置信息, 用来辅助后面高层语义层提取的语义信息, 使得最终提取出来的heatmap的点更准确

3.2. Graph Neural Network (GNN)

 GNN以图G={K,E}输入，K为点，E为边。k中隐藏状态向量会周期更新，为时间步t的隐藏状态，它通过时间步t的邻接节点信息更新，是选择邻接节点信息函数，为更新隐藏状态方法

 

 Graph Construction

 

 其中为backbone，是参数，I是样本

Information Propagation

 是卷积权重，是偏置项，是边集合

本文还在图神经网络上加了门控，以下是门控GRU的公式

 Output and Learning

最终预测结果：

 loss函数

 

 

 4 实验

在MPII上结果

在LSP上结果 

可以看出，确实本文的两个模块对四肢节点预测更好，而四肢是最容易被遮挡的关节点。