下一代游戏范式强势来袭！Oasis，世界首个能实时运行并能与用户互动的视频模型

本文由readlecture.cn转录总结。ReadLecture专注于音、视频转录、总结和翻译，2小时视频，5分钟阅读，加速内容学习与传播

视频来源

https://www.youtube.com/watch?v=GuenqZiA1NA

音频概览

大纲

总结

一句话总结

• Decart 正在开创实时互动的 AI 体验，旨在通过生成式 AI 改变用户与数字内容的互动方式，弥合想象与视觉现实之间的差距。

要点

1. 实时互动视频：Oasis 是首个实时运行的视频模型，允许对用户操作进行互动响应，无需传统游戏引擎。
2. 生成式 AI 潜力：该技术使用户能够实时操控数字环境，预示着沉浸式体验的新时代。
3. 垂直整合：Decart 完全垂直整合，从 CUDA 内核到模型训练全方位优化，旨在比竞争对手领先 10 倍。
4. 体验的未来：公司设想未来 AI 生成的体验（GX）将取代传统用户体验（UX），影响从社交媒体到娱乐的各个领域。
5. AI 训练中的挑战：实现实时视频处理需要系统级优化和模型架构调整。
6. 市场时机：Decart 相信通过创新技术率先进入市场，利用垂直整合超越竞争对手。
7. 长期愿景：Decart 旨在创建一个平台，使用户能够生成新体验，可能引领下一个万亿美元公司。

深入问答

1. Oasis 在 AI 领域的独特之处是什么？

• Oasis 独特之处在于它是首个实时运行的视频模型，允许对用户操作进行互动响应，无需传统游戏引擎。

Decart 计划如何与竞争对手区分开来？

• Decart 通过完全垂直整合，从低级 CUDA 内核到高级模型设计和训练全方位优化，实现差异化。

实现实时视频处理的技术挑战是什么？

• 挑战包括以不同方式训练模型、进行架构调整，以及进行系统级优化，如编写自定义 CUDA 内核。

Decart 如何看待用户体验的未来？

• Decart 相信 AI 生成的体验（GX）将取代传统用户体验（UX），创造更沉浸和互动的数字环境。

垂直整合对 Decart 的意义是什么？

• 垂直整合使 Decart 能够更快地行动并实现实时性能，在竞争对手之前将创新技术推向市场，获得显著优势。

Decart 的技术在游戏之外有哪些潜在应用？

• 潜在应用包括下一代社交媒体平台、互动教育工具以及各行业的先进模拟器。

Decart 计划如何解决 AI 训练中的可靠性问题？

• Decart 通过优化端到端系统来解决可靠性问题，包括构建自定义分布式文件系统并处理内部 200 页文档中记录的各种边缘情况。

关键词标签

• 生成式 AI
• 实时视频处理
• 垂直整合
• 互动体验
• AI 生成内容

目标受众

1. 科技爱好者：对 AI 和实时视频处理最新进展感兴趣的人。
2. 游戏开发者：寻找新工具和技术以创建互动游戏体验的专业人士。
3. AI 研究人员：研究 AI 与人机交互交叉领域的学者和专业人士。
4. 投资者：希望投资于专注于垂直整合和实时性能的创新科技公司的投资者。
5. 企业家：对用户体验未来和 AI 生成内容潜力感兴趣的创始人及企业领袖。

术语解释

1. CUDA 内核：针对 NVIDIA GPU 优化的低级编程结构，用于高性能计算任务。
2. 垂直整合：公司控制或拥有从原材料到最终产品的生产或服务所有阶段的一种策略。
3. 生成式 AI：能够根据从数据中学习到的模式创建新内容（如文本、图像或视频）的 AI 系统。
4. 实时推理：在数据输入时实时从机器学习模型中进行预测或决策的过程。
5. 网络效应：随着更多人使用产品或服务，其价值增加的现象，通常导致快速采用和市场主导地位。

内容回顾

Dean Leitersdorf: 所以，我们几周前推出了Oasis，从技术角度来看，令人难以置信的是它是第一个能够实时运行并允许对用户操作进行互动响应的视频模型。 你可以在世界中移动，打破方块，放置方块等等。我们没有使用游戏引擎就做出了这个不错的游戏，但这并不是最有趣的部分。真正有趣的是思考Oasis 3。 想象一下，暂时抛开技术，你面对着一面镜子。你有一面神奇的镜子，你可以和它说话，让它做很酷的事情。例如，你可以说：“嘿，这是我的手，我想握住一把剑。”然后你看着镜子里的自己，砰，你的手上就出现了一把剑。你移动手，剑也会移动。你可以命令：“让剑变大”或“让它变蓝”，它就会改变。你甚至可以说：“把我变成《权力的游戏》”，然后你周围的一切都变成了《权力的游戏》，你得到了一顶王冠。你可以命令：“不要让我的王冠有任何变化”，然后你开始跳跃和移动，镜子会做出响应。这很有趣，因为它是一种与我们在地球上以前所经历的完全不同的体验。 它让我们能够通过我们能看到的屏幕，将我们脑海中的想象与我们的视觉连接起来。这就是我们在这个方向上的目标。 一句话来说，生成式AI如何真正让我们将想象力与我们在屏幕上看到的内容连接起来？通过这种方式，我们可以探索以前无法进入的世界，从我们今天无法实现的应用程序到我们与计算机的互动方式，一切都发生了改变。

Shaun Maguire: 大家好，我是红杉资本的合伙人Shaun Maguire。今天，我的合伙人Sonya Huang和我将采访Dean Leitersdorf。 Dean是一位才华横溢的年轻人，他在以色列和美国之间来回成长。他在23岁时成为以色列理工学院最年轻的博士，至少直到他的弟弟在21岁时获得博士学位并超越他。Decart正在努力提供令人愉悦的AI体验，真正让人们以前所未有的方式与自己的想象力和其他人的想象力互动。为此，他们完全垂直整合，从CUDA内核等底层优化到设计自己的模型、训练模型，最终提供体验。在接下来的几个月里，我们将看到一些非常令人印象深刻的发布。

Sonya Huang: Dean，感谢您今天加入我们。我今天早上刚玩了Oasis，玩得非常开心。让我先问一下：Oasis是一个完全可玩的AI游戏引擎。它是什么，以及您为什么要创建它？

Dean Leitersdorf: 我们几周前推出了Oasis，从技术角度来看，令人难以置信的是这是第一个能够实时运行并根据用户操作进行交互的视频模型。 你可以在这个世界中移动、打破方块、放置方块等等。我们实现了这一点，而没有使用游戏引擎，但这并不是最有趣的部分。

要理解为什么这实际上很有趣，请忘记Oasis 1，转而思考Oasis 3。想象一下，暂时抛开技术，你正在看一面镜子。你有一面神奇的镜子，你可以和它说话，告诉它做很酷的事情。例如，你可以说：“嘿，这是我的手，我想握住一把剑。”然后，你看着镜子里的自己，砰，你的手上出现了一把剑。你移动手，剑也会随之移动。你可以命令：“让剑变大，让它变蓝。”它就会改变。你甚至可以说：“把我变成《权力的游戏》。”然后你周围的一切都变成了《权力的游戏》，一顶王冠出现&#x