李飞飞团队-空间智能首秀：AI靠单图生成3D世界，可探索，遵循基本物理几何规则

原文地址

今天，我们将分享我们迈向空间智能的第一步：从单个图像生成 3D 世界的 AI 系统。这样，您就可以步入任何图像并在 3D 中探索它。

除了输入图像之外，还会生成所有内容：

大多数 GenAI 工具都制作图像或视频等 2D 内容。相反，以 3D 形式生成可以提高控制和一致性。这将改变我们制作电影、游戏、模拟器和物理世界的其他数字表现形式的方式。

在这篇文章中，您将探索我们生成的世界，这些世界在您的浏览器中实时呈现。您还将体验不同的相机效果、3D 效果，并沉浸在经典绘画中。最后，您将看到创作者如何使用我们的模型进行构建。

探索世界

轮到你探索一些世界了！

下面我们展示了由奇幻图像生成的 3D 世界[1] 和日常照片。[2]

使用箭头键或 WASD 移动，然后用鼠标单击并拖动以环顾四周：

相机效果

生成场景后，将使用虚拟摄像机在浏览器中实时渲染。对本相机的精确控制可实现艺术摄影效果。

我们可以模拟浅景深，其中只有距离相机一定距离的物体才清晰对焦：

我们还可以模拟推车变焦，同时调整摄像机的位置和视野：

3D 效果

大多数生成模型预测像素。相反，预测 3D 场景有很多好处：

• 持久的现实：一旦生成了一个世界，它就会一直存在。如果你把视线移开并回来，场景不会在你的背后改变。
• 实时控制：生成场景后，您可以实时移动它。您可以徜徉于花朵的细节，或者偷看角落看看揭示了什么。
• 正确的几何图形：我们生成的世界遵循 3D 几何的基本物理规则。它们具有坚实感和深度感，与某些 AI 生成的视频的梦幻般的性质形成鲜明对比。

可视化 3D 场景的最简单方法是深度贴图，其中每个像素都按其与相机的距离着色：

我们可以使用 3D 场景结构来构建交互式效果 - 单击场景即可与之交互！

我们还可以构建被动地为场景制作动画的效果：

走进绘画

World Generation 让您以全新的方式体验标志性的艺术作品。我们从我们最喜欢的作品中生成了世界[3] 梵高、霍珀、修拉和康定斯基著。

原始绘画中不存在的任何内容都是由我们的模型生成的。

创意工作流程

3D 世界生成自然地与其他 AI 工具组合。这允许创作者使用他们已经知道的工具来提供新的体验。

例如，我们可以先使用文本到图像模型生成图像，从而从文本创建世界。不同的模型有自己的风格，我们的世界可以继承这些风格。

在这里，我们使用不同的文本到图像模型生成同一场景的四个变体，[4] 都使用相同的提示符：

“一间充满活力的卡通风格青少年卧室，床上铺着五颜六色的毯子，杂乱的书桌上放着一台电脑，墙上贴着海报，运动装备散落。一把吉他靠在墙上，中间是一块舒适的图案地毯。窗外的光线为房间增添了温暖、年轻的氛围。”

我们已经让一些创作者提前了解了我们的技术，以开始试验 3D 原生生成式 AI 工作流程带来的可能性。

Eric Solorio 展示了我们的模型如何填补其创意工作流程中的空白，从而轻松地在场景中安排角色并指导精确的摄像机运动：

Brittani Natali 使用将 World Labs 的技术与 Midjourney、Runway、Suno、ElevenLabs、Blender 和 CapCut 等工具相结合的工作流程，在我们生成的世界中布置精心设计的摄像机路径，以唤起不同的情绪，在三部短片中唤起不同的情绪：

展望未来

这些结果是我们生成 3D 世界的第一次早期预览。我们正在努力提高生成世界的大小和保真度，并尝试让用户与它们交互的新方式。

通过我们的候补名单了解我们未来的版本，或通过 hello@worldlabs.ai 联系我们。

如果您很高兴帮助我们实现这一愿景，请加入我们！

由于csdn无法呈现动图，建议大家去原网站去体验和测试，感受空间智能的魅力。点击查看原文！

以上内容全部使用机器翻译，如果存在错误，请在评论区留言。欢迎一起学习交流！

如有侵权，请联系我删除。xingyezn@163.com