#今日论文推荐#苹果发布新模型GAUDI：只用文字就能生成无限制3D模型

#今日论文推荐#苹果发布新模型GAUDI：只用文字就能生成无限制3D模型

谷歌在2021年末提出过Dream Fields，尝试结合NeRF生成3D视图与OpenAI的CLIP模型的能力，直接从文本中生成物体的3D模型。
不过谷歌的Dream Fields主要用于生成单个对象，将生成式AI扩展到完全不受约束的3D场景仍然是一个尚未解决的问题。
造成这种情况的其中一个原因可能是摄像机位置的限制：虽然对于单个对象，每个可能的合理摄像机位置都可以映射到一个dome，但在3D场景中，这些摄像机位置受到对象和墙壁等障碍物的限制。如果在场景生成期间不考虑这些，则生成的3D场景的可用性就会大大降低。
最近苹果披露了他们最新的用于生成沉浸式3D场景的神经网络架构GAUDI，可以根据文字提示创建3D场景。

GAUDI是一个能够捕捉复杂而真实的三维场景分布的生成模型，可以从移动的摄像机中进行沉浸式渲染，采用了一种可扩展但强大的方法来解决这个具有挑战性的问题。
研究人员首先优化一个隐表征，将辐射场和摄像机的位置分开，然后将其用于学习生成模型，从而能够以无条件和有条件的方式生成三维场景。
GAUDI在多个数据集的无条件生成设置中取得了sota的性能，并允许在给定条件变量（如稀疏的图像观测或描述场景的文本）的情况下有条件地生成三维场景。
模型的名字来自西班牙著名建筑大师Antoni Gaudi，以其复杂、新颖、独树一帜、个人色彩强烈的建筑作品知名，他被誉为「上帝的建筑师」。他有一句名言：创造会通过人类的媒介不断地传承下去！

论文题目：GAUDI: A Neural Architect for Immersive 3D Scene Generation
详细解读：https://www.aminer.cn/research_report/62f12b947cb68b460ffe9574https://www.aminer.cn/research_report/62f12b947cb68b460ffe9574
AMiner链接：https://www.aminer.cn/?f=cs