COCO 2018 关键点检测第一名。
pose estimation里面一个常用的trick是multi-stage。代表是8 stacks的houglass network。这可以解释为多stage可以实现coarse-to-fine的逐步优化过程。但是在多人位姿估计中,multi-stage效果是不如single-stage的。比如现在coco上领先的方法CPN, simple baseline等都是single-stage的。实验表明,如hourglass等,简单想通过stack来增大模型容量,实现精度提升是很难的。因此本文从网络结构设计, 特征传递和loss几个方面改善来提升multi-stage模型在多人位姿估计的表现。 达到了state-of-the-art效果。
首先是single-stage的设计,这是multi-stage的基础。回想hourglass的设计,每个stack中降采样和上采样分别4次,但是特征的channel是始终维持256不变。这似乎是不合理的。因为降采样过程中我们想提取不同尺度丰富的信息,丢失的信息在上采样中很难恢复。所以在降采样分辨率下降时,channel适当增加才能减少信息丢失。本文采取的方法是每降采样一次,channel翻倍。
然后是stages之间的信息传递。前一个stage的信息如何传给下一个stage?
我们可以看到,当前stage的降采样后特征有3个部分, 第一个是当前stage实际降采样的特征,第二个和第三个分别是前一个stage对应scale的降采样和上采样特征, 当然分别用1*1卷积处理后才传递。这样当前stage可以充分利用前面的信息去提取更有效的特征。
最后, 在loss function上下功夫。首先是各个stage分别要加监督。这个监督的形式可以参考CPN, 是在上采样的各个scale的预测上做监督,此外最大的scale上,使用了OHKM, 对hard keypoint做处理。
还有一点小的trick是不同的stage, ground truth的heatmap采用不同大小的高斯核来生成,具体是前面satge 的kernel大, 后面的stage kernel小。也是一种coarse-to-fine的思想吧。
代码也开源了,有时间看一看细节, 看看有没有什么补充的吧。