读论文《ECON: Explicit Clothed humans Optimized via Normal integration》

论文地址：2212.07422 (arxiv.org)

项目地址：GitHub - YuliangXiu/ECON: [CVPR'23, Highlight] ECON: Explicit Clothed humans Optimized via Normal integration

摘要

本文提出了一种名为ECON的方法，用于从单张彩色图像中重建详细的3D人体模型。该方法结合了显式人体参数化模型和隐式表示的长处，通过三个步骤实现：(1) 预测服装人体前后表面的2D法线图；(2) 将法线图转换成2.5D的前后表面，并使用SMPL-X模型进行对齐；(3) 填补两个表面之间的缺失几何结构。此外，可以选择使用SMPL-X中的面部和手部替换细节部分。ECON在CAPE和Renderpeople数据集上的定量评估中超越了先前的方法，并且在感知研究中也显示出更好的真实感。

ECON 结合了自由形式隐式表示和显式拟人化正则化的最佳方面，以推断高保真 3D 人类，即使穿着宽松的衣服或摆出具有挑战性的姿势。它分三个步骤完成：（1） 它推断正面和背面的详细 2D 法线贴图（第 3.1 节）。（2） 法线贴图被转换为 SMPL-X 估计值（第 3.2 节）指导的详细但不完整的 2.5D 前后表面。（3） 然后，它对两个表面之间缺失的几何体进行“修复”（第 3.3 节）。面部或手部可以选择性地更换为 SMPL-X 的清洁器。请观看我们网站上的视频，了解更多结果

介绍

随着游戏、电影、混合现实、远程存在和“元宇宙”的兴起，未来对真实感和个性化的3D化身的需求将不断增加。为了大规模创建这些化身，需要从野外拍摄的彩色照片中准确地重建详细的3D人体模型。这项任务仍然具有挑战性，因为人们穿着各种不同的服装和配饰，并且常常以富有想象力的方式摆出各种姿势。一个好的重建方法必须能够准确捕捉这些细节，并且对新的服装和姿势具有鲁棒性.

ICON [82] 和 PaMIR [96] 将形状规则化为体型，但过度束缚裙子，或过度抚平皱纹。ECON 结合了他们最好的方面。

 

方法详细说明

ECON（Explicit Clothed humans Optimized via Normal integration）方法通过三个关键步骤实现了从单张彩色图像中重建详细的3D人体模型。以下是每个步骤的详细说明：

概述。ECON 将 RGB 图像 I 和 SMPL-X 体 Mb 作为输入。以渲染的前后体法线图像 Nb 为条件，ECON 首先预测前后服装法线贴图 Nc .这两个映射以及体深度映射 Zb 被馈送到 d-BiNI 优化器中，以生成正面和背面 {MF，MB}。基于这些部分曲面和体估计 Mb，IF-Nets+ 隐式完成 RIF。通过可选的 Mb 杆面或指针，屏蔽泊松将所有内容组合成最终的 R。

1. 详细法线图预测

目标：预测服装人体前后表面的2D法线图。

步骤：

• 使用图像到图像的转换网络，基于输入的RGB图像和身体估计，预测服装人体的前后法线图。
• 为了增强背面法线图的局部细节，对ICON的背面法线预测器进行微调，增加MRF损失。
• 利用SMPL-X模型渲染出的身体法线图作为条件，引导法线图预测，确保服装和身体轮廓的对齐。

技术细节：

• 损失函数：结合了LN_diff（法线图损失）、LS_diff（轮廓损失）和LJ_diff（关节损失）。
• 优化：通过优化SMPL-X模型的shape、pose和translation参数，最小化损失函数。

2. 前后表面重建

目标：将预测的2D法线图转换成2.5D的前后表面。

d-BiNI 的 4 个输入

步骤：

• 使用双边法线积分（BiNI）方法，结合SMPL-X模型的粗略深度先验，优化前后服装深度图。
• 提出深度感知的双边法线积分（d-BiNI）方法，联合优化前后服装深度图，确保高频细节与法线图一致，低频变化与SMPL-X模型一致。

技术细节：

• 优化目标函数：包括BiNI损失项、深度先验项和前后轮廓一致性项。
• 深度先验正则化：使用SMPL-X模型渲染的粗略深度图作为先验，引导BiNI优化。
• 轮廓一致性：确保前后深度图在轮廓边界处的深度值一致，避免重建时出现“块状”伪影。

3. 人体形状补全

**目标：**填补由于遮挡等原因缺失的几何结构。

步骤：

• 使用IF-Nets+模型，基于SMPL-X网格和部分3D表面，补全缺失的3D形状。
• 通过Poisson表面重建（PSR）将前后d-BiNI表面、IF-Nets+补全的形状以及可选的SMPL-X面部和手部融合，生成完整的3D人体模型。

技术细节：

• IF-Nets+训练：使用体素化的SMPL-X模型和d-BiNI深度图作为输入，以真实3D形状为监督信号进行训练。
• Poisson表面重建：用于融合多个表面片断，生成完整的水密3D模型。

实验

ECON在CAPE和Renderpeople数据集上进行了评估，与包括PIFuHD、ICON和PaMIR在内的多种方法进行了比较。实验结果显示，ECON在处理复杂姿势和服装方面具有优越的性能，并且在感知研究中也显示出更好的真实感