SGANPose | 自对抗人体姿态估计网络

Self Adversarial Training for Human Pose Estimation
Official Code: pytorch

1.出发点

由于人体的遮挡和拥挤等现象，现有的人体姿态估计网络很难解决此类情况下的准确估计，且此类现象会导致网络估计的关键点不符合正常的人体姿态，失去了人体固有的形态。比如下图中第二行图片所示，相较于第一行，很显然有部分关节是违背事实的。作者希望即使在拥挤状态下，网络预测得到关键点也能够符合关节所固有结构。基于此作者提出使用生成对抗的方式来解决这个问题。

2.自对抗网络结构

与传统的GAN模型类似，本文的模型分为两个网络，生成器和鉴别器。第一个网络生成器是一个卷积网络，生成器经过前向计算，得到一组热图，它指示每个关键点的每个位置的置信度得分。第二个网络鉴别器，具有与生成器相同的架构，但它将热图与RGB图像一起编码输入，并将其解码为一组新的热图，以便区分真实的热图和虚假的热图。本文提出的自对抗网络结果如下图所示。在最终做关键点前向推理时，会将鉴别器从整体的结果中剔除。