概述：穿衣人物的动画重建CVPR2020

abstract

在本文中，提出了一种新的端到端框架ARCH（服装人体的动画重建，Animatable Reconstruction of Clothed Humans），用于从单目图像精确重建可以动画的3D服装人体。现有的三维人体数字化方法难以处理姿势变化和细节恢复。此外，它们不会生成可动画的模型。相比之下，ARCH是一种可学习的姿势感知模型，可以从单个RGB图像生成详细的3D有衣着人体。使用参数化三维人体估计器（parametric 3D body estimator）创建语义空间和语义变形场（Semantic Deformation Field）。它们允许将2D或3D穿着的人物转换到规范空间（canonical space），减少由训练数据中的姿势变化和遮挡引起的几何模糊。使用具有空间局部特征的隐函数表示来学习详细的表面几何形状和外观。此外，我们提出了使用不透明度感知可微渲染对三维重建进行额外的逐像素监控。我们的实验表明，ARCH提高了重建人物的保真度。与公共数据集上最先进的方法相比，标准度量的重建误差降低了50%以上。我们还展示了许多迄今为止的工作中没有出现过的动画和高质量重建人物的定性示例。

• 图1：给定一个处于任意姿势的物体的图像（左），ARCH创建了一个精确且可动画的人物avatar，没有着色的是人物的规范化重建（canonical reconstruction），其中有细节性的衣服（中）。随着albedo和rigging被估计后，avatar可以改变观察视角和调整姿势（右）

---

在计算机图形学中，canonical代表将"观测对象"平移到原点，并旋转观测对象，让其所在坐标与标准正交空间重合

---

Introduction

三维人体重建在计算机视觉和计算机图形学领域已经探索了几十年。使用各种类型的传感器提出了基于立体或融合的精确方法，并且在运动、医学和娱乐领域（例如，电影、游戏、VR和AR体验）已变得流行。然而，这些设置需要有严格控制的环境。迄今为止，利用 in-the-wild pictures 中的详细几何形状和外观进行完整三维人体重建仍然具有挑战性（即，在自然条件下而不是在实验室环境中拍摄）。此外，缺乏自动rigging（绑定肢体）会阻碍基于动画的应用程序。

最近的计算机视觉模型已经能够从单个图像中恢复2D和3D人体姿势（pose）和形状（shape）估计。然而，它们通常依赖于具有局限性的表示：（1）骨架（skeletons）是精确表示三维姿态的运动学结构，但不携带body shape信息。（2）surface mesh可以表示body shape geometry，但具有拓扑约束（topology constraints）；（3）体素（voxel）是无拓扑的，但内存昂贵，并且分辨率有限。在本文中，我们提出了集成当前三维表示的所有优点的ARCH（服装人体的动画重建，Animatable Reconstruction of Clothed Humans）框架。特别是，我们引入了一个学习模型，该模型具有人体结构知识（即身体部位语义，body part semantics），并在任意姿态（arbitary pose）下训练。

首先，可以通过预测模型从处于任意姿态的人物的单个图像中推断出三维body pose和shape estimation。该初始化步骤用于在规范空间（canonical space）内对穿着衣服的人体形状进行归一化pose重建。这允许我们通过密集采样clothed body surface周围的3D点并分配权重来定义语义空间（SemS，semantic space）和语义变形场（SemDF，semantic deformation field）。然后，我们学习基于SemS和SemDF的正则空间中三维占有场（3D occupancy）的隐函数表示，这使得能够重建优于最先进技术的表面高频细节（包括衣服褶皱、发型等）。处于中性姿势的穿着衣服的人的surface表达被隐含地rigging，以便用作可动画化的avatar。此外，通过Granular Renderand-Compare，使用可微渲染器来细化空间中每个3D点的法线和颜色信息。在这里，我们将其视为一个球体，并基于估计的占用概率开发了一个新的混合公式。有关框架的概述，参见图2。

• 图2：ARCH架构，该框架包含三个部分。
• 第一部分：输入图像空间和canonical空间之间的对应估计；
• 第二部分：通过surface occupancy，normal（法线）和颜色估计在canonical空间内隐式重建表面；
• 第三部分：通过differentiable rendering对normal和颜色进行细化；

参考原文

ARCH: Animatable Reconstruction of Clothed Humans