Graph Stacked Hourglass Networks for 3D Human Pose Estimation

方法重复使用编码器-解码器，图形结构特征在三种不同尺度的骨骼中表示，获取局部和全局特征。使用不同深度中间特征的多层次特征学习方法。

目前的基于GCN的方法有一些局限性：图卷积利用所有关节点信息，可以看做是所有特征仅在“一个尺度”上处理，很难获取全局和局部信息的特征。其次，大多数现有方法都是用一种简单的架构，顺序连接图卷积层。然而，由于多尺度特征所需的上采样和下采样操作是在图像上定义的，并且图形具有不规则的结构，因此此类方法不能直接应用于图形结构数据。

方法贡献：

1.提出了适用于提取多尺度人体骨骼特征的网络Graph Hourglass，其中包含考虑人体骨骼结构的Skeletal Pool和Skeletal Unpool。

2.我们提出了由Graph Hourglass module构成的Graph Stacked Hourglass Networks，该模块在体系结构的不同深度集成了多级特征表示。我们的体系结构融合了多尺度、多层次的特征和人体骨架的先验知识。

3.1Graph Stacked Hourglass Networks

目的是将具有强大多尺度特征提取功能的结构扩展到图形结构数据。在沙漏网络中，数据的下采样和上采样分别通过pooling和unpooling实现。

pooling：根据人体结构特点，将人体节点成对分组，在低尺度骨架结构中，利用最大池化运算将对应两个节点特征融合为一个节点。分别可以得到包含16,8和4个节点的三个不同尺度的骨架结构，每个骨架对应一个图结构。对于相对较低比例的图形表示，我们使用更多通道对信息进行编码防止信息退化。

unpooling：由于低尺度节点是两个高尺度节点生成的，因此复制低尺度的特征表示分配给相应的两个节点以恢复高尺度骨架。

 Graph hourglass design：

下采样，上采样，残差连接。

3.2 Multi-scale and Multi-level Features

使用空间1*1卷积来减少中间特征的通道，并将他们连接成整体特征表示

 K是节点个数，C是输入给我输出通道（C=64）。然后我们跟着一个SE block来增强多层次特征中的重要语义信息。SE块计算整体特征的通道权重。

计算通道相关性，z是将全局特征通过平均池化得到的。

最后每个通道的特征加权如下。

 

4.Network Architecture

使用4个叠加沙漏方法和64个通道的潜在空间。

 结果：