摘要:1、提出了Residual Steps Network(RSN)。 RSN融合相同空间尺寸的特征(Intra-level features)来获取细致的局部信息,保留了丰富的low-level的空间信息并且带来了精确的关键点定位。
2、提出了一种有效的注意力机制Pose Refine Machine(PRM)来进一步优化关键点位置。
前言:
人体姿态估计主要是进行关键点定位和分类。Spatial information(空间上的信息,类似于low level信息)有利于定位任务,semantic information(抽象语义信息)有利于分类任务。为了解决上述问题,目前流行的方法主要是综合考虑inter-level的特征,比如:HRNET,主干网络保持高分辨率,并不断从低分辨率的子网络添加语义信息,综合了不同level的特征。CPN中通过一个头网络,组合了4个不同空间级别的特征。这些方法特征融合的方式不同,但都是综合不同level的特征。同级别的特征融合当前还缺乏探索。
下图为intra-level的特征融合和inter-level的特征融合对比。图1(a)中特征图连续被下采样到输入图片尺寸 的1/4,1/8,1/16,1/32。
而本文是在同一空间尺寸下的连续特征图。图1(c)中不同级别特征对应的感受野之间存在较大的间隙。从图中可以看出inter-level的特征融合相对粗糙,阻碍了人体姿态定位的精度。图1(b)中intra-level的特征感受野gap相对较小。图1(d)表明,融合intra-level的特征能够提取更多精细的局部呈现,并保留更精细的空间信息。
为了更好的得到局部信息,提出了Residual Steps Network(RSN), 由Residual Steps Block(RSB)组成,RSB结构受Densenet结构激发,通过深度连接,保留了丰富的low-level特征,但是采用element-wise sum的方式融合特征,而不是concat,防止了网络能力爆炸。除此植物ia,为了 更好地优化关键点位置,提出了注意力模块PRM。
研究现状:
特征融合:Hourglass(U-shape 卷积神经网络),Densenet, Res2Net, OSNet,都属于inter-level
注意力机制:当前主流的注意力机制主要为两个类别,一个channel attention,一个spatial attention。
方法:
整体pipline:
如上图,通过若干单阶段RSN级联得到多阶段的网络结构。不同于Resnet,RSN由RSBs组成,ResNet由bottleneck blocks组成。最后一阶段使用了一个PRM。