苹果的「AI 建筑师」GAUDI：根据文本生成 3D 场景

最新推荐文章于 2024-07-17 09:55:45 发布

机器学习与AI生成创作

最新推荐文章于 2024-07-17 09:55:45 发布

阅读量1.4w

点赞数 1

文章标签：机器学习深度学习人工智能计算机视觉神经网络

原文链接：https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247497846&idx=1&sn=690cbb4e8bcfaefa74805f609e32517a&chksm=fe2a5acdc95dd3db079c69934851e43d3331232c42151c265d7208a78cc8569afccd94419101&scene=126&&sessionid=0

版权

作者：李梅 | 编辑：陈彩娴 | 转载自：AI科技评论(aitechtalk)

如今，每隔一段时间就有新的文本生成图像模型释出，个个效果都很强大，每每惊艳众人，这个领域已经是卷上天了。

不过，像 OpenAI 的 DALL-E 2 或谷歌的 Imagen 等 AI 系统，都只能生成二维图像，如果文字也能变成三维场景，那带来视觉体验势必加倍提升。

现在，来自苹果的 AI 团队推出了 3D 场景生成的最新神经架构—— GAUDI 。

它可以捕捉复杂和逼真的 3D 场景分布，从移动摄像机中进行沉浸式渲染，还能根据文本提示来创建 3D 场景！该模型以 Antoni Gaudi 命名，他是西班牙著名的建筑大师。

论文地址：https://arxiv.org/pdf/2207.13751.pdf

基于 NeRFs 的 3D 渲染

神经渲染（nerual rendering）将计算机图形学与人工智能结合起来，已经产生了很多从 2D 图像生成 3D 模型的系统。比如最近 Nvidia 开发的 3D MoMa 可以在一个小时内从不到 100 张的照片中创建出 3D 模型。谷歌也依靠神经辐射场（NeRFs ）在谷歌地图中将 2D 卫星和街景图像组合成 3D 场景，实现了沉浸式视图。谷歌的 HumanNeRF 还可以从视频中渲染出 3D 人体。

目前，NeRFs 主要还是用作 3D 模型和 3D 场景的一种神经存储介质，可以从不同的相机视角进行渲染。NeRFs 也已经开始被用于虚拟现实体验。

那么，NeRFs 这种从不同摄像机角度逼真地渲染图像的强大能力，能不能用于生成式 AI 呢？当然可以，已经有研究团队尝试了 3D 场景的生成，如谷歌在去年首次推出了 AI 系统 Dream Fields，它将 NeRF 生成 3D 视图的能力与 OpenAI 的 CLIP 评估图像内容的能力相结合，最终实现了能够生成匹配文本描述的 NeRF。

图注：谷歌 Dream Fields

但是，谷歌的 Dream Fields 只能生成针对单个对象的 3D 视图，要将它扩展到完全不受约束的 3D 场景还存在很多困难。最大的难点就在于摄像机的位置有很大的限制，对于单个对象，每个可能的、合理的摄像机位置都可以映射到一个圆顶，但在 3D 场景中，摄像机的位置会受到对象和墙壁等障碍物的限制。如果在场景生成时不考虑这些因素，那就很难生成 3D 场景。

3D 渲染专家 GAUDI

对于上述摄像机位置受限的问题，苹果的 GAUDI 模型拿出了三个专门的网络来轻松搞定：

GAUDI 有一个相机姿态解码器，它将摄像机姿态与场景的 3D 几何和外观分离开来，可以预测摄像机的可能位置，并确保输出是 3D 场景架构的有效位置。