每日论文记录2-TesseTrack: End-to-End Learnable Multi-Person Articulated 3D Pose Tracking（CVPR2021）

论文链接：TesseTrack (cmu.edu)

1.简介

Tessetrack,是一种自上而下的方法，在一个端到端的可学习框架中同时解释多个个体在空间和时间上的3D身体关节重建和关联，方法的核心是一种新的时空公式，它在从单个或多个相机视图聚合的公共体素化特征空间中运行。

2.项目流程图

3.项目原理(只包含person detection)

网络由三个主要区块组成，每个区块都有相关的损失。第一个块是3D体素空间中的人物检测网络。给定人物检测，4D CNN在短时间内提取每个检测到的人物的时空表示。为了跟踪人，其解决了两个帧t和t+∆t的描述符集之间的分配问题。然后，所有重叠的匹配描述符被合并为一个描述符，该描述符最终被解卷积为在中心帧跟踪的人的3D姿势。

person detection network

这部分主要是介绍其多视图检测网络，可以在特定的时间实例中检测3D中的人物。其使用HRnet作为backbone提取每一帧的特征，然后使用网络的pre-final层，并通过单个卷积层将其转换为大小为R的特征图。每个不同视角的特征图投影到3D体素上，其没有将2D联合热图融合到3D中，而是从HRNet的最终层中提取更丰富的特征向量，体素网格被初始化为包含由相机观察到的整个空间。使用摄影机校准数据，将每个体素中心投影到摄影机视图中。通过连接图像空间中拾取的所有特征向量并通过具有softmax层的浅层网络来聚合它们。这产生了大小为R的唯一特征向量。因此，最终得到大小为R×W×H×D的数据结构，其中W、H、D是体素网格的维度，R是特征图的维度。然后，我们将3D卷积应用于该体积，以生成检测建议。对于每个人，训练网络来检测其“中心”，即颈部和臀部中心之间的中点，每个时间t的损失直接表示为预期热图和输出热图之间的距离。

4.数据对比

5.效果图