Real3D：利用真实世界图像扩展3D重建模型

 

 原理：

 

在3D重建领域，单视图重建任务由于其固有的不确定性而充满挑战。为了克服这一难题，研究者们一直在探索如何利用大型数据集训练模型以学习形状和纹理的通用先验知识。然而，现有训练方法依赖于合成数据或多视图捕获，这些方法在数据扩展性和真实性方面存在局限。针对这些问题，Hanwen Jiang、Qixing Huang和Georgios Pavlakos三位来自UT Austin的研究者提出了Real3D，这是一个创新的3D重建系统，能够通过单视图真实世界图像进行训练。

Real3D的核心是其自训练框架，它结合了现有的3D/多视图合成数据和多样化的单视图真实图像。该系统引入了两种无监督损失函数，允许模型在没有3D真值或新视图的情况下，在像素和语义级别上进行自我监督。此外，研究者们开发了一种自动数据筛选方法，用于从大量野外图像中筛选出高质量的训练样本。

在实验部分，Real3D在