©作者 | 江告
01 人体重建简介
在元世界中构造真实的3D人体模型是构建虚拟数字人的首要任务之一。三维人体重建旨在从2D人体信息恢复三维几何,例如对RGB输入进行三维重建。
重建后的三维人体,可以用于影视特效制作,实现包括动作驱动等应用。
02 人体重建经典方法介绍
经典的单视角RGB人体重建方法包括基于三维人体表示的重建,以及基于神经隐式函数的重建。
基于三维人体表示的重建使用SMPL提供人体先验,优化相应的表示参数。
以HMR为代表,输入单张图片,通过神经网络提取出图像特征,回归SMPL的shape和pose参数,以及对应的相机位姿。由于任意给定的shape或者pose参数不一定真的是一个合理的人,例如姿态不一定是人类可以实现的姿态,所以添加了判别器,筛去不真实的结果。
这种方法重建高效,但受限于人体表示的表达能力,往往只能重建赤身人体。
基于神经隐式函数利用了神经网络从大量数据中学习先验的能力,以及神经隐式表示灵活的表达能力,可以重建出带有服装细节的人体,以PIFu为代表。
PIFu能支持单视角或者多视角的输入,且可以重建高度复杂的形状,如发型、服装,以及它们的变化和变形都可以用统一的方式数字化。
PIFuHD进一步提升了PIFu的细节,通过设置端到端可训练的多级架构来解决这一限制。粗略级别以较低的分辨率观察整个图像,并专注于整体推理。并提供了一个精细级别的上下文,通过观察