本文介绍了元宇宙中人体重建的重要性和经典方法，如基于SMPL的重建和神经隐式函数的PIFu。重点阐述了ICON这一新方法，它通过精细的局部特征预测和隐式表面重建，实现单视角RGB的3D人体重建，解决了数据不足和精细度的问题。ICON使用数据集AGORA进行训练，并展示了在人体Avatar构建上的应用潜力，尽管仍存在宽松衣物和透视效果的挑战。
©作者 | 江告
01 人体重建简介
在元世界中构造真实的3D人体模型是构建虚拟数字人的首要任务之一。三维人体重建旨在从2D人体信息恢复三维几何，例如对RGB输入进行三维重建。
重建后的三维人体，可以用于影视特效制作，实现包括动作驱动等应用。
02 人体重建经典方法介绍
经典的单视角RGB人体重建方法包括基于三维人体表示的重建，以及基于神经隐式函数的重建。
基于三维人体表示的重建使用SMPL提供人体先验，优化相应的表示参数。
以HMR为代表，输入单张图片，通过神经网络提取出图像特征，回归SMPL的shape和pose参数，以及对应的相机位姿。由于任意给定的shape或者pose参数不一定真的是一个合理的人，例如姿态不一定是人类可以实现的姿态，所以添加了判别器，筛去不真实的结果。
这种方法重建高效，但受限于人体表示的表达能力，往往只能重建赤身人体。
基于神经隐式函数利用了神经网络从大量数据中学习先验的能力，以及神经隐式表示灵活的表达能力，可以重建出带有服装细节的人体，以PIFu为代表。
PIFu能支持单视角或者多视角的输入，且可以重建高度复杂的形状，如发型、服装，以及它们的变化和变形都可以用统一的方式数字化。
PIFuHD进一步提升了PIFu的细节，通过设置端到端可训练的多级架构来解决这一限制。粗略级别以较低的分辨率观察整个图像，并专注于整体推理。并提供了一个精细级别的上下文，通过观察
最低0.47元/天 解锁文章
4936
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
