用自然语言控制电脑,字节跳动开源 UI-TARS 的桌面版应用!内附详细的安装和配置教程

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 功能:支持通过自然语言控制电脑,提供跨平台支持。
  2. 部署:支持云端和本地部署,推荐使用 HuggingFace 或 vLLM 进行快速部署。
  3. 运行:提供详细的安装和配置教程,支持 Windows 和 MacOS 系统。

正文(附运行示例)

UI-TARS Desktop 是什么

UI-TARS Desktop

UI-TARS Desktop 是一款基于视觉语言模型(Vision-Language Model)的 GUI 代理应用,允许用户通过自然语言控制电脑操作。它结合了视觉识别和自然语言处理技术,能够理解用户的指令并执行相应的操作。

该应用支持跨平台运行,适用于 Windows 和 MacOS 系统。通过实时反馈和状态显示,用户可以直观地看到指令的执行情况,确保操作的精准性和高效性。

UI-TARS Desktop 的主要功能

  • 自然语言控制:通过自然语言指令控制电脑操作,简化用户交互。
  • 视觉识别支持:支持截图和视觉识别功能,能够识别屏幕内容并执行相应操作。
  • 精准控制:提供精确的鼠标和键盘控制,确保操作的准确性。
  • 跨平台支持:支持 Windows 和 MacOS 系统,满足不同用户的需求。
  • 实时反馈:提供实时反馈和状态显示,帮助用户了解指令执行情况。

UI-TARS Desktop 演示示例

  • Prompt:Get the current weather in SF using the web browser
  • 使用网页浏览器获取旧金山的当前天气

🥦 微信公众号|搜一搜:蚝油菜花|查看原文演示示例 🥦

  • Prompt:Send a twitter with the content “hello world”
  • 发送一条包含内容“hello world”的推特推文

🥦 微信公众号|搜一搜:蚝油菜花|查看原文演示示例 🥦

如何运行 UI-TARS Desktop

1. 下载

你可以从 GitHub 仓库下载最新版本的 UI-TARS Desktop。

https://github.com/bytedance/UI-TARS-desktop/releases/latest

2. 安装(MacOS)
2.1. 将 UI TARS 应用程序拖拽到 Applications 文件夹中。

UI-TARS Desktop mac_install

注意:如果应用损坏,您可以在终端中使用以下命令来修复它。

sudo xattr -dr com.apple.quarantine /Applications/UI\ TARS.app

UI-TARS Desktop mac_broken

2.2. 在 MacOS 中启用 UI TARS 的权限:
  • 系统设置 -> 隐私与安全 -> 辅助功能
  • 系统设置 -> 隐私与安全 -> 屏幕录制

UI-TARS Desktop mac_permission

2.3. 打开 UI TARS 应用程序,你将看到以下界面:

UI-TARS Desktop mac_app

3. 安装(Windows)

UI-TARS Desktop windows_install

3. 部署
3.1 云端部署

我们推荐使用 HuggingFace Inference Endpoints 进行快速部署。你可以参考以下两个官方文档:

3.2 本地部署 [vLLM]

推荐使用 vLLM 进行快速部署和推理。你需要安装 vllm>=0.6.1

pip install -U transformers
VLLM_VERSION=0.6.6
CUDA_VERSION=cu124
pip install vllm==${VLLM_VERSION} --extra-index-url https://download.pytorch.org/whl/${CUDA_VERSION}
3.2.1 下载模型

这里提供了三种模型大小:2B7B72B。为了获得最佳性能,推荐使用 7B-DPO72B-DPO 模型:

3.2.2 启动 OpenAI API 服务

运行以下命令启动 OpenAI 兼容的 API 服务:

python -m vllm.entrypoints.openai.api_server --served-model-name ui-tars --model <path to your model>
3.2.3 输入 API 信息

在设置中输入你的 API 信息:

UI-TARS Desktop settings_model

注意:VLM 基础 URL 是与 OpenAI 兼容的 API 端点(有关更多详细信息,请参阅 OpenAI API 协议文档)。

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

<think>好的,用户想安装UI-TARS框架,但提供的引用内容似乎配置管理、数据库初始化有关,可能涉及安装前的环境准备步骤。首先需要明确UI-TARS的具体技术栈,但根据引用中的关键词如PHP、YAML、MySQL,推测可能是一个PHP框架。 用户提供的引用1提到了Yaconf、phpdotenv等PHP配置工具,还有微框架的信息,可能UI-TARS依赖这些组件。引用2涉及Ambari的MySQL数据库初始化,可能UI-TARS需要数据库支持,需要执行类似Ambari的SQL脚本来创建表结构。 接下来,我需要整理安装步骤。首先检查系统环境,安装必要的PHP扩展依赖,比如Yaconf、symfony/yaml。然后配置数据库,导入提供的SQL文件。接着可能通过Composer安装依赖,配置.env文件,设置数据库连接等。最后启动服务或部署应用。 但用户的问题中没有提供UI-TARS的具体文档,所以需要基于常见PHP框架的安装流程进行推断,并提醒用户查阅官方文档。同时,注意引用中提到的配置加载器数据库初始化步骤,可能需要用户手动处理这些部分。 需要确保回答结构清晰,分步骤说明,并指出可能的依赖项配置要点。同时生成相关问题,帮助用户解决后续可能遇到的问题,比如依赖安装失败、数据库配置错误等。</think>### UI-TARS框架安装指南 根据引用中提到的技术组件数据库初始化要求,UI-TARS框架的安装可能涉及以下步骤(具体需以官方文档为准): 1. **环境准备** - PHP环境需包含扩展:$php \geq 7.2$,安装$Yaconf$配置管理扩展 ```bash pecl install yaconf ``` - 安装Composer依赖: ```bash composer require symfony/yaml phpdotenv ``` 2. **数据库初始化** - 执行SQL脚本创建表结构(类似引用[2]的流程): ```sql mysql -u root -p < /path/to/Ambari-DDL-MySQL-CREATE.sql ``` 3. **配置文件设置** - 创建.env文件配置数据库连接: ```ini DB_HOST=localhost DB_NAME=ui_tars DB_USER=root DB_PASS=your_password ``` 4. **框架部署** - 通过Git克隆仓库: ```bash git clone https://github.com/ui-tars/core.git ``` - 设置Nginx虚拟主机指向public目录 5. **验证安装** - 访问$http://localhost:8080$应显示欢迎页面 需特别注意:上述步骤中$Ambari-DDL-MySQL-CREATE.sql$的路径需要替换为实际文件位置,MySQL版本需满足$MySQL \geq 5.7$[^2]
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值