单人pose模型文章,提出了一种基于kinematic structure来辅助模型对关键点进行定位,整体结构如下:
模型是一个仿U-Net结构的网络结构,忽略U-Net的底部,先看下输出,模型会在不同的scale下进行upsample到原图分辨率大小进行heatmap输出,所以是个包含有多个loss的网络结构,重点看下上图中的绿色部分,也即是文章提出的Kinematic Features Updates结构。
Kinematic Features Updates
这个结构相当于是根据先验知识对人体姿态进行建模,然后进行refine的一个过程。文章对关节点连接做了一个定义,如下图所示:
其中每两个连通点之间的线段称之为边,关节点为node,然后对于关节点k来说,它的周围连通点组成的集合为 N ( k ) {N(k)} N(k):