每日论文记录7-Part-aware Measurement for Robust MultiView Multi-Human 3D PoseEstimation and Tracking（2021）

论文地址：[2106.11589] Part-Aware Measurement for Robust Multi-View Multi-Human 3D Pose Estimation and Tracking (arxiv.org)

1.文章简介

本文介绍了一种基于标定多视角的多人三维姿态估计和跟踪方法，与以前从多个视图构建3D姿势的解决方案相比，其方法利用时间一致性来匹配每个视图中用以前构建的3D骨架估计的2D姿势，提出了一种2D-3D关联的部分感知测量方法和一种可以在重建过程中处理2D异常值的滤波器。

2.整体框架

a.第一步是对多个视角的图片进行2D的姿态检测，采用的是yolov3与HRnet所结合的自上而下的人体姿态检测器

b.产生的2D姿态随后进行2D-3D Association,这块会和t’时刻产生的3Dpose的投影进行计算亲和函数，如下图

 

 计算出各个时刻2D与3D的亲和值，就可以形成亲和矩阵将2D与3D关联起来，并通过匈牙利算法进行求解，找到匹配。

3D姿态是由直接线性变换（DLT）来进行三角测量获得，当所有关节错误时，会产生Xt,miss,这时用Xt^代替，并加入高斯滤波器来平滑。

c.为了防止关联时只有单一视图，不能进行重建，在joint filter，其构建一个集合，在t-tc’<e，e=75~100ms这个时间段里，tc'代表上一次匹配到的时间，在这个短间隔中进行三角测量，随后进入joint filter，这是一步joint感知处理，通过计算以下式子来进行去除异常值，如下图示意图

 

c2的图像平面上的蓝色线和橙色线分别是反向投影射线rc1、rc3的核线。由于大的核极距离，视图c2和c3中的关节被认为是异常候选，因此在下一步骤中进行检查。当Eij<0,则可以判断i,j中有一个会有问题，则其设计了一个贪婪算法，将Xt,n与运动模型进行对比，背投影光线可由下式子得到

随后计算ric与xtn之间的距离 ，然后将n=i或者j中大的一个去掉。

对于那些来自不同视图的不匹配的二维姿势，可能会形成一个新的三维骨架。因此，为了初始化新的3D姿势，利用极线约束在视图中关联不匹配的2D姿势。假设在相机c中存在一组不匹配的2D姿势的Uc，通过等式来测量来自其他视图的不匹配2D姿势与Uc的相关性。最终亲和矩阵E=PN n=1En也可以通过匈牙利算法求解。这个过程是迭代的，意味着我们一个接一个地处理相机。在每次关联之后，可能仍然存在未在相机c中捕捉到但在其他相机中捕捉到的不匹配姿势U 0 c。然后将U0 c添加到Uc中

这是整体框架 

3.实验数据

 

 4.效果图