【arxiv 2024.02】HumanSplat: Generalizable Single-Image Human Gaussian Splatting with Structure Priors

一、前言

Jingbo Zhang, Xiaoyu Li, Qi Zhang, Yanpei Cao, Ying Shan, Jing Liao

【Paper】 > 【Github_Code】 > 【Project】

Abstract

问题：尽管高保真人体重建技术最近取得了进展，但对密集捕获图像或耗时的每个实例优化的要求极大地阻碍了它们在更广泛场景中的应用。
方法介绍：为了解决这些问题，我们提出了 HumanSplat，它可以以通用的方式从单个输入图像中预测任何人类的 3D 高斯 Splatting 属性。特别是，HumanSplat 包含一个 2D 多视图扩散模型和一个具有人体结构先验的潜在重建变压器，能够在统一框架内巧妙地集成几何先验和语义特征。进一步设计了包含人类语义信息的分层损失，以实现高保真纹理建模并更好地约束估计的多个视图。
实验：对标准基准和野外图像的综合实验表明，HumanSplat 在实现逼真的新视图合成方面超越了现有的最先进方法。