SAGANPose | 隐式结构化对抗人体姿态估计网络

Adversarial PoseNet: A Structure-aware Convolutional Network for Human Pose Estimation
Official Code: pytorch

1.背景分析

关键点遮挡和人体重叠会导致人体姿态估计的难度增大，在这种情况下，可能会产生生物学上难以置信的姿势预测。相反，人类视觉能够通过利用联合互连的人体关节间的几何约束来预测姿势。 为了通过结合关于人体结构的先验来解决该问题，本文尝试使用生成对抗网络的形式，以在训练时隐式考虑这些先验信息，因为显式学习此类约束通常具有挑战性。基于此，本文设计了一个多任务生成器用以生成精准的人体关键点，设计了姿态辨别器P使得生成器获取的人体关键点视觉友好，设计了置信度鉴别器C使得生成器获取的人体关键点置信度高。

2.隐式结构化生成对抗网络

如下图所示，我们的对抗姿态估计网络分为三部分，1用于生成姿态的生成器网络，2用于鉴别姿态的鉴别器网络，3用于鉴别置信度的鉴别器网络。其中生成器输出32个heatmap图，其中16个是关键点heatmap，另外16个是与其对应的关键点遮挡heatmap。下图中的（1）分支，展示了没有对抗操作情况下，常规人体姿态估计网络的损失计算和参数更新方法。下图中的（2）分支，展示了利用置信度鉴别器C来辅助训练生成器G，将会产生更加可信的置信值结果。下图中的（3）分支࿰