Learning Delicate Local Representations for Multi-Person Pose Estimation

arxiv
official pytorch implemention
旷视研究院最新关于人体姿态估计的力作，最优模型在COCO test-dev刷到了79.2，rank no.1，关键还是几位实习生做的，还是个98年的大佬～～

前言
人体姿态估计是一个对位置精度要求很高的任务，它不像图像分类对location信息要求不那么严格，而是和语义分割一样，准确的location信息对它帮助很大。之前的很多姿态估计模型为了更好的利用多尺度的feature，常常会在不同level（我们将featuremap size相同大小的为同一level）之间融合信息（inter-level），最后再接几层卷积得到最后的输出，但是，有关相同level之间的信息融合研究确很少（intra-level），文章的主要关注点就是在这个intra-level，如下图所示：

Fig.1(a)是一个提取feature的backbone，$(c)$展示就是inter-level feature fusion，在之前的网络中，如hourglass， CPN，MSPN等都经常用到。$(b)$就是本文着重提出的intra-level feature fusion。从$(d)$中可以看到，low-level的feature map可以有效的帮助网络去更准确的定位关键点的位置，这个也就是所谓的Local Represention。所以，为了更有效的去表达这个Local Represention，文章提出了网络结构Residual Steps Network(RSN)，每一个RSN里面都是由基本单元Residual Steps Block，RSB组成。作者说是受到了DenseNet的启发，但由于DenseNet是concate的，随着模型的depth增加，模型会变得越来越大并且越来越冗余（这个在后面会做比较），所以改进了DenseNet的连接方式，由concate改为element-wise sum，并且会在最后一个RSN后面再接入提出的Pose Refine Machine，PRN结构对featuremap做最后一次优化，具体模型结构如下图所示：
方法
RSB：
首先看RSN网络，RSN网络中是由N个RSB串联组成，在RSB中，所有的featuremap level都是相同的，所以在RSB中执行的都是intra-level feature fusion。RSB具体来说，对于属于的一个feature，会分成5个branch（类似NIN结构），记为$f_i,i=1,2,3,4$和一个Identity connection branch（和reset中的一样），每个$f_i$对应的产生一个$y$