复杂场景下多人关节姿态跟踪,论文设计了一个在线的优化网络建立帧间姿态关系,并形成姿态流,此外设计了一个姿态流非极大值抑制减少冗余姿态流,重新建立时间上不相交姿态的联系。实验在两个姿态跟踪数据库上Pose Tracking datasets
([Iqbal et al., 2017] and [Girdhar et al., 2017])对比。
多人姿态跟踪方法分两种,自上而下的和自下而上的。自上而下的方法首先检测人体bbox,估计关键点,跟踪box。自下而上的方法每帧检测出候选,建立时空图,形成每个人的姿态轨迹。自上而下的方法比较有前景,但受到遮挡、截断、图片模糊等问题,如下图所示,这需要帧间共享信息。
**方法结构**
两步法,pose flow building和pose flow NMS
**基本概念**
1.帧内姿态距离
衡量同一帧两个姿态的相似度,软匹配函数为:
其中$c_1,c_2$是姿态$p_1,p_2$的关键点,关键点直接的空间距离为:
2. 帧间姿态距离使用ORB匹配计算
**Pose Flow Building**
姿态估计通过在帧间建立同一个人的关系建立,对于某个姿态,在后续帧建立候选关联姿态集,即:
其中dc是ORB距离。对于从t到(t+T)帧,最大化目标函数:
其中,s(P)是姿态P的置信度得分,与box得分和关键点得分有关。
**Pose Flow NMS**
1.Pose Flow Distance
对于任意两个姿态流,提取它们时间上相交的子流,两个姿态流的距离为:
其中df()是帧内姿态距离
2.姿态流融合
具有最大置信度得分的姿态流作为参考,通过使用dPF(),融合靠近参考姿态流的其他流,形成新的姿态流,即代表姿态流,代表姿态流的关键点2D坐标和置信度得分分别为:
姿态流NMS的示意图为:
**实验结果**