论文笔记:Monocular, One-stage, Regression of Multiple 3D People
V1 名称:
CenterHMR: a Bottom-up Single-shot Method for Multi-person 3D Mesh Recovery from a Single Image
V3名称:
Monocular, One-stage, Regression of Multiple 3D People
摘要(Abstract)
本文的核心任务是从单张图像中恢复多人的3D姿态。目前存在的方法主流的一般都是多阶段的处理方式,首先利用人体检测器检测每个人体区域,然后再对每个人体区域进行进一步的3D姿态回归。相比较之下,我们提出了单阶段处理方法来实现单张图多人3D姿态回归任务,我们的方法概念简单,不需要人体检测器,并且能以端到端的方式学习每个像素的含义。我们提出的方法能够同时预测人体中心的heatmap和对应的3D Mesh参数(用来回归描述对应的3D姿态)。通过一种人体中心指导的采样处理方式可以轻松的回归出2D图像中每个人对应的3D姿态参数,得益于这种处理方式使得我们的方法可以实现单阶段并且对遮挡Case表现的很鲁棒。和目前最优秀的方法比,在多人遮挡benchmark上,我们的方法表现出色,其中包括3DPW,CMU Panoptic,以及3DOH50K这些数据集。我们的方法相对于各种遮挡表现的都相当的鲁棒。值得一提的是到目前为止,我们的Demo也是第一个实现了实时回归多人3D姿态。
引入(Introduction)
主要论点:
- 目前存在的单张图回归3D人体姿态的方法一般都是多阶段的,先检测人体,再分别回归3D人体姿态
- 目前多阶段的方式在处理人体遮挡这些问题的时候效果不够鲁棒
- 基于bottom-up的2D人体关键点回归范式在一定程度上可以解决多人场景下的人体遮挡问题
- 直接套用2D人体关键点bottom-up的方法到3D人体姿态回归上不适用
- 本文工作通过一个简单的参数处理采样方式,预测一个人体中心heatmap