由Adobe Research和澳大利亚国立大学(ANU)联合研发的人工智能模型宣布了一项突破性的成果,能够从单一的2D图像中生成3D图像。
研究人员表示,他们的新算法在大规模图像样本上进行训练,可以在几秒钟内生成这样的3D图像。该算法采用了名为LRM(Large Reconstruction Model)的高度可扩展神经网络,包含一百万数据集和五亿参数,涵盖图像、3D形状和视频等多种数据。
该项目的领导作者、澳大利亚国立大学工程、计算和控制学院的毕业生、Adobe实习生Yicong Hong表示:“这种高容量模型和大规模训练数据的结合使得我们的模型具有很强的泛化能力,能够从各种测试输入中产生高质量的3D重建。”
据Hong介绍,早期的3D成像软件只在特定主题类别中表现良好,后来的图像生成进展是通过程序如DALL-E和Stable Diffusion实现的,它们利用了2D扩散模型的卓越泛化能力以实现多视图。然而,这些程序的结果仅限于预训练的2D生成模型。
其他系统利用每形状优化来取得令人印象深刻的结果,但根据Hong的说法,它们“通常缓慢且不切实际”。他指出,利用大规模数据的巨大变压器网络内的自然语言模型的发展激发了他的团队提出一个问题:“是否可能学习从单一图像重建对象的通用3D先验?”他们的答案是“是”。
“LRM可以从现实世界中捕获的各种图像以及由生成模型创建的图像中重建高保真度的3D形状。” Hong说道,“LRM也是下游应用的高度实用解决方案,因为它可以在仅五秒钟内生成一个3D形状,无需后