AI 成精了，自己在玩游戏大镖客 ...

想象未来的某一天，你坐在电脑前，喝着咖啡唱着歌。看一眼电脑，有一个 AI 在为你自动帮你处理各种繁琐的任务。

它不仅能自动帮你玩游戏，提升你的游戏等级，还能高效地剪辑视频、写文档，制作出专业水准的内容。能够在你忙碌的时候为你分担工作，让你有更多的时间去享受生活。

这一切听起来像是科幻小说中的情节，今天推荐的开源项目 Cradle 正在为实现这种愿景而探索，这是一个能自己玩荒野大镖客、剪视频、发邮件的 AI。

---

01

Cardle：能控制计算机的聪明AI

Cradle 是一个能够控制计算机的 AI 框架，它的目标是提升 Foundation Agents 的能力，使其能够通过统一的接口执行复杂的计算机任务，包括日常软件操作、专业软件使用、游戏等。

简单的讲就是，它能够理解你给它看的屏幕截图，然后再操纵键盘、鼠标来操作电脑和玩游戏。可以玩复杂的电脑游戏，试用日常使用的软件，甚至帮你管理一个虚拟的城市。

02

它目前能做啥？

Cradle 目前能够自动操作各种软件，包括但不限于 Chrome 浏览器、Outlook 邮箱、剪映、美图和飞书等。

可以自动玩四款游戏：荒野大镖客2（RDR2）、星露谷物语（Stardew Valley）、都市：天际线（Cities: Skylines）和当铺人生 2（Dealer's Life 2）

PS：在本文章的最后， 贴上了 Cradle 玩各种游戏和软件的演示视频。

03

原理是啥？

下图是 Cradle 论文中给出的示意图。简单来说，让 AI 能自动玩游戏或者是用软件，通常有如下几个步骤：

① 信息收集：Cradle 首先会读取屏幕截图，理解上面显示的内容。

② 自我反思：读取了目前屏幕上显示的结果，它先会思考之前的操作是否成功，如果没有，它会找出原因。

③ 任务推理：Cradle 会根据当前情况来决定接下来要做什么任务。

④ 技能策划：它有一些预设的技能，比如点击鼠标或按键盘，能够根据目前所在的事情选择合适的技能。

⑤ 动作规划：Cradle 会计划一系列动作来完成任务。

⑥ 记忆：有一个记忆模块，它会记住之前的经验，这样下次遇到类似的情况就能做得更好，不需要人类一步步指导。

04

开源地址

Cradle 基于论文《CRADLE: Empowering Foundation Agents Towards General Computer Control》，由 Weihao Tan 等人撰写，他们来着来自不同的研究机构，包括北京人工智能研究院、南洋理工大学、北京大学、香港大学等。

开源地址：https://github.com/BAAI-Agents/Cradle
科研论文：https://arxiv.org/pdf/2403.03186

05

早期 AI 驯服电脑珍贵影像

下面都是 Cradle 自动玩游戏、操作办公软件的视频，素材来源于 Cradle 的主页。更多的视频欢迎大家前往 Cradle 的 GitHub 主页浏览。

荒野大镖客

都市：天际线

当铺人生 2

星露谷物语

自己剪视频

使用飞书

使用美图秀秀

---

点击下方头像 关注逛逛GitHub