点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
添加微信号：CVer111，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！
转载自：新智元 ｜编辑：桃子 乔杨
【新智元导读】老黄预言AI生成游戏的未来，很快就要实现了！在一年一度Roblox开发者大会上，CEO官宣了3D基础模型，仅用文本提示便可生成3D物体。未来目标，便要瞄准10亿玩家，AI视频游戏大爆发时代不远了。
老黄曾预言，未来5-8年，每个像素都将是生成的，并非渲染的。
没错，我们离AI视频游戏实时生成的未来，近在咫尺。
几周前，谷歌曾发布了首个神经引擎驱动的AI——GameNGen，能以每秒20帧的速度，预测下一帧。
当时就有网友惊叹道，用不了几年，我们就会拥有AI实时生成3A游戏的大作。
恰在一年一度的开发者大会上，世界最大在线游戏开发平台Roblox，宣布计划推出一款3D基础模型。
创建者仅需文本提示，就可以完成游戏3D场景的制作。
从文本、图像、声音生成，到视频、3D资产、场景生成，AI正在重塑游戏的创作方式。
目前，Roblox拥有7950万总用户、超过100万日活用户，未来目标要实现「覆盖10亿用户」。
也就是说，未来10亿玩家都将用上AI游戏，千亿美金游戏产业或被颠覆。
AI游戏生成未来，竟是这样的
开发者大会上，CEO David Baszucki表示，AI已经成为了Roblox的一部分。
代码助手、纹理和材质生成器、用户头像设置等多个功能都已经集成了GenAI。
3个月前，他们在公司内部组织了一个40人团队，计划打造一个多模态3D基础模型，目的是「通过文本、视频和3D提示推动3D生成。」
更让人振奋的是，Roblox计划开源这个模型。副总裁Anuam Singh表示，任何人，包括竞争对手，都可以使用这个模型。
GenAI工具的介入将为游戏开发人员赋予更大程度上的创作自由。
无论他们喜欢什么风格——逼真、动漫、蒸汽朋克，AI模型都可以帮助生成匹配的对象和场景。
开发人员甚至可以让人工智能创建一个完整的世界，并向人工智能提供反馈，根据自己的喜好来调整生成结果。
这个新工具将成为Roblox推动AI集成到所有流程的其中一环。他们现在拥有的AI模型，数量已经达到了250个。
除了AI，Roblox的很多更新似乎也和「元宇宙」有密切联系。
还记得小扎之前的「元宇宙」梦想吗？他希望每个用户在其中都有一个自己的「数字化身」。
但Roblox已经走得更远、更加接近。
平台上的3D头像已然成为了用户身份的象征，2022年，超过1000万的日活用户会每天更新头像。
然而即使是经验丰富的创作者，也需要几天甚至一周的时间来创建新头像。
通过即将启用的GenAI模型，这个过程将会更加容易。
不需要繁琐的建模、渲染等操作，可以通过图像和文本提示，在短短几分钟内，无缝创建或修改3D头像。
不久的将来，在机器学习的加持下，3D化身还会更加逼真、更加栩栩如生。
从面部表情，扩展到手势和上半身动作，甚至眨眼频率也会和用户相同。
甚至，不仅是3D化身，Roblox畅想的用户交流方式也很「元宇宙」
去年推出的Roblox Connect中，语音通话的两名用户就已经能将「数字化身」上传到一个虚拟的共享空间。
你的「数字化身」甚至能传达细微的面部表情和肢体语言。
这背后的技术和好莱坞动画电影的动作捕捉技术类似，但Roblox将其压缩、打包成了能在手机或笔记本上运行的程序，而且不需要运动跟踪点等额外设备，摄像头即可进行捕捉和实时转换。
预测下一个3D块
据介绍，这个3D新模型的工作原理是，对数百万游戏世界中的3D物体，进行「分词」（tokenizing）。
Roblox将3D块视为独立的单位，并根据它们在环境中出现的可能性，赋予数值。
这类似于LLM处理词、句段的方式，比如，GPT-4会根据上下文预测下一个输出的token。
那么，Roblox AI系统同样以相似的方式处理3D块，通过最有可能出现的下一个块来创建环境。
不过，想要实现这件事，一直很困难。
首先，3D环境的数据远少于文本数据。
为了训练模型，Roblox不得不依赖创作者生成的用户数据，以及外部数据集。
Roblox副总裁Anupam Singh表示，「找到高质量的3D信息是困难的」。
而且，预测3D环境中的下一个方块比预测文本中的下一个单词更复杂，因为它涉及三个空间维度（X、Y、Z），而不仅仅是线性序列。
其次，尽管AI可以生成基本的3D环境，但人类设计师的创造力、以及对玩家需求的理解，仍然是不可或缺的。
肯特州立大学动画游戏设计项目的副教授Chris Totten表示，Roblox游戏设计师仍然需要参与为平台数百万玩家打造有趣的游戏环境。
有时候，AI生成的关卡可能缺乏创意和深度，更加需要人为的引导，就像学生们用ChatGPT写课程论文。
最后，这项技术还使用了，2D模型评估3D模型的过程。
基本上，当一个AI在创建3D环境时，2D模型会将新环境转换为2D，并评估图像是否在逻辑上一致。
如果图像生成不合理，比如说出现一只有12只脚的猫在开赛车，AI就会一次又一次地生成新的3D块，直到2D模型「批准」为止。
据介绍，还要计划将3D基础模型开源，以便开发者们对其进行修改，对此再次创新。
另外，会上还预告了，正在开发的文本到形状、纹理的模型，以及语音翻译。
多年布局
在AI游戏生成上的布局，Roblox早就开始了。
而且，还在2021年元宇宙爆火时期，Roblox曾向玩家们展示了，AI在虚拟世界中的样子。
23年2月，Roblox曾对外透露，正在内部开发测试AI工具，帮助游戏开发者们轻松地创建3D资产。
一个是用文本提示生成AI资产工具，另一个是用AI完成代码工具。
比如，为汽车换不同的车衣。
或者，AI生成代码让车灯亮起、关闭。
又或是，让虚拟场景中下雨，汽车漂移等等，通过简单的语言指令，AI即可帮你生成代码。
直到9月，Roblox还官宣了一款AI聊天机器人工具——Roblox Assistant，向2亿玩家全面推出。
顾名思义，聊天的同时，就可以让玩家创作出虚拟的世界。
比如，你想要一堆篝火，周围环绕树木，任何场景一句话就实现了。
想要一只熊、一只多样纹理、颜色、科幻的熊，任凭想象。
有网友表示，43%的Roblox的用户年龄低于13岁，也就是说，下一代的创作者们将在很小的年纪就学会与AI对谈。
我们正在迈向一个新时代。
Roblox CEO：小扎同路人
在最新的发布会上，Roblox CEO开始时就提出了一个自己都承认「有些大胆」的目标：
在未来几年内，将Roblox在全球游戏市场的内容收入份额提高到10%，最终达到覆盖10亿用户。
相比之下，目前这家公司大概占到全球游戏市场的2%，总用户数量为7950万。
即便和目标比起来，Roblox还有很长的路要走，但他们目前的成就已经非常惊人。
除了25种游戏体验、100万日活用户，其月度用户数量甚至可能超过整个AAA游戏生态系统的总和。
在The Verge最新的一篇采访中，CEO David Baszucki谈到了这个增长计划，以及公司在AI方面的努力。
在Baszucki看来，Roblox不仅仅是一个游戏平台，还肩负着社交功用，这一点可以从他们对3D头像与用户交互方式的革新中看出蛛丝马迹。
之所以定下10亿用户的目标，不仅是因为看到了4×以上增长的道路，而且还有更多的社交意义、更多的娱乐消费和实际的用途，单纯的游戏用户可能还不到这10亿人的80%。
他透露，公司内部正在构建一个关于3亿日活用户的内容主题，打造相应规模的社交体验。
至于为什么要开发一个开源的3D多模态AI模型，而且开放模型在平台外的使用？Baszucki的想法和小扎类似，都是以「开源」带动行业的发展 。
3D创作涵盖了很多东西，比如网格、纹理，但要让视频游戏真正做到「沉浸式体验」，让人身临其境，3D创作却并不是必需的。
通过开源和社区内的合作，除了Roblox平台上已有的训练数据，他们还将共同开发，甚至能发展出将3D信息转换为功能性4D信息的能力。
因此，开源还将使3D创作变得更加广泛。
未来的前景是，可以在你能想象到的任何游戏中提供3D体验，成为一种动态功能，而不仅仅局限于工作室中的开发者工具。
比如，时尚领域的游戏可以让用户用文本prompt设计、制作自己的服装；或者用生成模型创建一个模拟的乔治·华盛顿。
最终，Roblox上的许多游戏体验都将在AI云上运行。
可以注意到，Roblox上的很多资产都是优质数据，包含材料属性、嵌入的代码，以及可以直接放到游戏中的物理属性。
将核心的实用程序——3D创建开源后，这些资产可以很快被放到游戏中，更能让Roblox成为模拟现实世界的平台。
不仅是业务前景，Baszucki表示，在公司内部的工作中，他也看到了使用AI的优势和潜力。
「AI正在变得越来越好，越来越多地成为人们的补充，它允许我们的很多员工执行更高级别的职能，或者更深入研究例外情况等等。」
参考资料：
https://www.technologyreview.com/2024/09/06/1103707/roblox-is-launching-a-generative-ai-that-builds-3d-environments-in-a-snap/
https://www.channelnewsasia.com/business/roblox-set-launch-paid-videogames-its-virtual-platform-4592056
https://www.theverge.com/2024/9/6/24237685/robloxs-ceo-on-getting-to-1-billion-users
https://www.ign.com/articles/roblox-developers-conference-2024-everything-announced
何恺明在MIT授课的课件PPT下载
在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
ECCV 2024 论文和代码下载
在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集CVPR 2024 论文和代码下载
在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集Mamba、多模态和扩散模型交流群成立
扫描下方二维码，或者添加微信号：CVer111，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群▲扫码或加微信号: CVer111，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！
▲扫码加入星球学习▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看
624
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
