UI-TARS桌面版模型部署

win系统部署参考文档:https://github.com/bytedance/UI-TARS-desktop/blob/main/docs/quick-start.md

Docs

在 UI-TARS 中配置 VLM(视觉语言模型)模型,无论是选择云端(Hugging Face)还是本地(vLLM)部署,都需要经过一系列步骤,下面为你详细展开介绍。

本地 vLLM 模型部署配置步骤

1. 环境准备
  • 安装 Python:确保你的系统安装了 Python 3.8 及以上版本,可在命令行输入 `python --version` 进行检查。若未安装,可从 [Python 官网](Download Python | Python.org) 下载安装。
  • 安装依赖库:打开命令行,执行以下命令安装必要的 Python 库:pip install transformers torch vllm
2. 模型下载

从 Hugging Face 等模型仓库下载你所需的 VLM 模型,记录好模型文件的本地存储路径。

3. 启动 vLLM 服务

在命令行中,使用以下命令启动与 OpenAI 兼容的 API 服务:
python -m vllm.entrypoints.openai.api_server --served-model-name ui-tars --model <模型本地路径>,请将 `<模型本地路径>` 替换为你实际下载的模型文件所在路径。

4. 配置 UI-TARS 客户端
  • 打开 UI-TARS:启动 UI-TARS Windows 客户端。
  • 进入模型配置界面:在客户端中找到模型配置相关的功能区域,通常在设置或者模型管理模块。
  • 添加模型配置:
    • 模型名称:为模型设置一个便于识别的名称,例如 `local-vlm-model`。
    • API 基础 URL:输入 vLLM 服务的基础 URL,默认情况下为 `http://localhost:8000/v1`。
    • 认证信息:若服务需要认证,需填写相应的认证信息;若无需认证,可留空。

云端 Hugging Face 模型部署配置步骤

1. 创建 Hugging Face 账户

若你还没有 Hugging Face 账户,需前往 [Hugging Face 官网](https://huggingface.co/) 注册一个新账户。

2. 选择并部署模型
  • 选择模型:在 Hugging Face 模型仓库中挑选合适的 VLM 模型。
  • 创建推理端点:在模型页面中,点击“Deploy”(部署)按钮,选择创建推理端点。按照指引完成端点的创建,包括选择计算资源、配置模型参数等。
3. 获取端点信息

创建端点成功后,你会得到端点的 API 地址和认证密钥。请妥善保存这些信息,后续配置 UI-TARS 时会用到。

4. 配置 UI-TARS 客户端
  • 打开 UI-TARS:启动 UI-TARS 客户端。
  • 进入模型配置界面:找到客户端中的模型配置区域。
  • 添加模型配置:
    • 模型名称:为模型取一个合适的名称,例如 `huggingface-vlm-model`。
    • API 基础 URL:输入 Hugging Face 推理端点的 API 地址。
    • 认证信息:填写获取到的认证密钥,通常以 `Bearer <密钥>` 的格式输入。

测试配置

完成上述配置后,你可以进行简单的测试来验证模型是否配置成功。

  • 准备测试数据:准备一张图像和一段文本提示。
  • 发起推理请求:在 UI-TARS 客户端中,选择已配置的模型,上传测试图像,输入文本提示,然后点击“开始推理”按钮。
  • 检查结果:若能正常得到合理的推理结果,则说明模型配置成功;若出现错误,需根据错误信息检查配置是否正确。

按照以上步骤操作,你就能在 UI-TARS 中成功配置 VLM 模型,无论是选择本地部署还是云端部署都能顺利进行。

!怕麻烦只想使用UI-TARS的可以参考官方教程,直接调用火山方舟Docs

### 部署UI-TARS框架于本地环境 对于希望在本地环境中部署UI-TARS框架的情况,当前文档主要描述了通过云端服务如阿里云PAI Model Gallery来实现部署的方法[^1]。然而针对本地部署的需求,通常涉及更复杂的配置过程。 #### 准备工作 为了能够在本地成功安装并运行UI-TARS,首先需要确保拥有合适的开发环境设置。这包括但不限于Python解释器版本兼容性验证、必要的库文件预安装以及硬件资源评估等前置条件准备。 #### 获取源码 访问官方仓库获取最新版的UI-TARS项目源代码是启动本地部署的第一步。可以通过Git工具克隆远程存储库到本地计算机上完成此操作。 ```bash git clone https://github.com/UI-TARS/ui-tars.git ``` #### 安装依赖项 进入下载好的目录后,依据README.md中的指导说明执行pip命令以安装所需的第三方包和其他依赖组件: ```bash cd ui-tars pip install -r requirements.txt ``` #### 环境变量配置 部分功能模块可能依赖特定的操作系统级参数或路径设定,因此建议按照官方指南调整相应的环境变量,以便更好地适配不同平台特性。 #### 启动服务端口 最后一步则是激活应用程序的服务进程,并监听指定IP地址及端口号等待客户端请求接入。具体做法可以参照项目的启动脚本或者使用内置命令行选项来进行。 需要注意的是,上述流程基于一般性的开源软件部署逻辑给出的大致方向指引,而具体的实施细节可能会因版本更新等因素有所变化。对于更加详细的步骤和注意事项,请参阅UI-TARS官方提供的文档资料获得最权威的帮助和支持[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

二琳爱吃肉

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值