Towards Accurate Human Pose Estimation in Videos of Crowded Scenes

ACM MM 2020 人体姿态估计挑战赛的第二名，作者来自新加坡国立大学和依图实验室。作者列表里有个熟悉的名字 Xuecheng Nie，就是之前 SPM 模型的一作。附 ACM MM 2020 人体姿态挑战赛的leaderboard，话说参赛人员数量不高啊~~~

文章整体流程图如下图所示，因为是刷榜打比赛，所以不考虑速度，只考虑精度，所以各个模块的模型都是用了很大的模型。整体有三个大的模块，分别是：1）human detector 2）pose estimator 3）optical flow smoothing（包含multi-person tracking在里面）。

人体检测这块综合考虑了ResNet152和ResNeXt101这两个backbone，使用了Faster RCNN和Cascade RCNN两个检测头，当然FPN是必须的。不同的检测模型在HIE数据集上的表现如下表1所示：

另外又做了额外数据集对检测效果的影响。因为CrowdHuman和self-collected data（作者他们自己采集的数据集）domain和HIE表现很一致，所以加入这两个数据集后对模型的提升效果最明显，最后提交的模型也是在这三个数据集上训练得到的结果，如下表２所示：

因为测评的数据集场景是密集人群，所以为了检测区分出两个挨着很近的object，文章借鉴了旷视的一篇文章：Xuangeng Chu, Anlin Zheng, Xiangyu Zhang, and Jian Sun. 2020. Detection in Crowded Scenes: One Proposal, Multiple Predictions. In Proceedings of the
IEEE/CVF Conference on Computer Vision and Pattern Recognition. 12214–12223 来提高对密集人群的检测效果。加入这个后效果如下表３所示：
人体姿态估计就是个单人人体姿态检测器，文章采用了目前较好的HRNet和Simple Baseline两个模型。

上面的人体检测+人体姿态估计都是很常见的多人人体姿态估计流程，文章真正有意思的是在后面把光流的思想加进去来对关键点做平滑。因为不需要考虑实时性，所以对当前帧出的姿态位置使用了上一帧和下一帧的姿态结果进行修正。也就是可以先把video中的所有帧的pose都通过上述的方法计算出来，然后再通过光流方法来进行refine，最后输出video中每个视频帧的人体姿态结果。思想也很简单，就是把上一帧的pose位置加上通过计算上帧和当前帧的光流偏移得到新的位置，以及下一帧的pose的位置加上通过计算下一帧和当前帧的光流偏移得到的新的位置，这样当前帧的pose就有三个结果：1）上一帧的pose经过光流偏移得到的新的位置 2）当前帧通过算法得到的位置 3）下一帧的pose经过光流偏移得到的新的位置。这三个位置做个加权就是当前帧的最终结果，公式如果下公式所示：

每个符号的定义如下所示：

另外，无论是人体检测还是人体姿态估计模块，文章都使用了2个模型ensemble得到最终的结果，例如人体检测用了：: (1). ResNet152 + Cascade RCNN + extra data + emd loss + refine module + set NMS + KD regularization, whose AP is 83.21; (2). ResNeXt101 + Cascade RCNN + extra data + emd loss + refine module + set NMS + KD regularization, whose AP is 83.78;Then two models are fused with weights 1:1. 人体姿态估计用了HRNet和Simple Baseline两个模型的输出融合后的结果。