论文代码:github.com/MVIG-SJTU/AlphaPose
此博客不是直接对论文的翻译,是阅读论文时的笔记和总结;
论文采取的方法:alphapose 采取的为自顶向下,two-step 方法;
论文的基本实现步骤:
1)采取 Faster-RCNN作为人体检测网络,提取图片中的人体候选框;
2)将得到的人体检测候选框进行变换,使人体处于图片的中心位置,然后用SPPE Stacked Hourglass mode 进行关键点和姿态预测,将预测的结果再变换到原始图片位置,得到原始图片上人体关键点的位置;
3)通过其设计的pose NMS 计算pose的相似度,排除多余的pose;
论文重点创新点为:
1)对人体检测框的变换(STN),使送入SPPE的图片中检测人体均处于图像的中心;
2)在训练时添加parallel SPPE固定其权重参数,并认为人体在中心点,通过其结果与真实标签的误差去指导STN;
未理解部分:
1)在训练过程中parallelSPPE是如何指导STN的theta,使人体居于图像中心;----此问题待详细解释;