Computer Use OOTB：开源 GUI 框架，基于 Claude 3.5 Computer Use API 实现远程控制

❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

微信公众号｜搜一搜：蚝油菜花 🥦

---

🚀 快速阅读

• 概述：介绍开源的 GUI 框架 Computer Use OOTB，基于 Claude 3.5 Computer Use API 实现对计算机的自动化控制。
• 主要功能：支持跨平台操作、API 基础的自动化、即插即用和远程控制。
• 技术原理：使用 Anthropic 定义的工具集、视觉信息处理、推理-行动范式、历史视觉上下文维护和状态观察与反馈。

正文（附运行示例）

Computer Use OOTB 是什么

Computer Use OOTB 是开源的 GUI 框架，基于 Claude 3.5 Computer Use API 实现对计算机的自动化控制。框架支持跨平台操作，用户在 Windows 和 macOS 系统上能轻松部署 GUI 自动化模型，无需复杂的设置。CU-OOTB 支持基于互联网从任何设备远程控制计算机，包括用手机等移动设备，提供便捷的远程操作能力。

该框架旨在通过简单的设置和直观的用户界面，使用户能够轻松地利用 AI 技术实现计算机的自动化控制。无论是远程工作、自动化测试、教育和培训，还是家庭自动化和游戏自动化，Computer Use OOTB 都能提供强大的支持。

Computer Use OOTB 的主要功能

• 跨平台支持：Computer Use OOTB 支持在 Windows 和 macOS 操作系统上本地部署，提供统一的框架实现 GUI 自动化。
• API 基础的自动化：用 Claude 3.5 Computer Use API，实现从用户指令到桌面操作的端到端自动化。
• 即插即用：作为即插即用的解决方案，简化部署过程，让用户快速开始使用 GUI 自动化功能。
• 远程控制：支持基于互联网从任何设备远程控制计算机，包括移动设备，提高操作的灵活性。

Computer Use OOTB 的技术原理

• Anthropic-defined Tools：用 Anthropic 定义的工具集，包括计算机交互工具、文本编辑工具和 Bash 工具，执行具体的桌面操作。
• 视觉信息处理：实时屏幕截图观察环境，不依赖于元数据或 HTML，能适应 GUI 环境的高动态性。
• 推理-行动范式：基于观察-行动范式，模型在决定行动前会观察环境，确保行动适合当前的 GUI 状态。
• 历史视觉上下文维护：模型维护一个历史截图的上下文，截图在任务操作过程中积累，帮助模型在执行动作时做出更明智的决策。
• 状态观察与反馈：模型在执行动作后会再次截图，确认动作的效果，动态决定是否需要重试或终止执行。

如何运行 Computer Use OOTB

0. 前提条件

• 安装 Miniconda，系统通过此链接进行安装。（Python 版本：>= 3.11）。

1. 克隆仓库 📂

打开 Conda 终端。安装完 Miniconda 后，它会出现在开始菜单中。
在 Conda 终端中运行以下命令：

git clone https://github.com/showlab/computer_use_ootb.git
cd computer_use_ootb

2. 安装依赖 🔧

pip install -r dev-requirements.txt

3. 启动界面 ▶️

python app.py

如果成功启动界面，你将在终端看到两个 URL：

* Running on local URL:  http://127.0.0.1:7860
* Running on public URL: https://xxxxxxxxxxxxxxxx.gradio.live (不要与他人共享此链接，否则他们将能够控制你的计算机。)

4. 通过任何可以访问互联网的设备控制计算机

• 被控计算机：已安装软件的计算机。
• 发送命令的设备：打开网站的设备。

在浏览器中打开 http://localhost:7860/（如果你是在控制计算机本身）或 https://xxxxxxxxxxxxxxxxx.gradio.live 进行远程控制。

输入 Anthropic API 密钥（你可以在网站获取），然后下达命令让 AI 执行任务。

资源

• 项目官网：https://computer-use-ootb.github.io/
• GitHub 仓库：https://github.com/showlab/computer_use_ootb
• arXiv 技术论文：https://arxiv.org/pdf/2411.10323

---

❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

微信公众号｜搜一搜：蚝油菜花 🥦