开源的跨语言GUI元素理解8B大模型：AgentCPM-GUI

最新推荐文章于 2025-05-15 16:45:42 发布
最新推荐文章于 2025-05-15 16:45:42 发布
阅读量670 收藏 14
点赞数 11
分类专栏： 前沿 文章标签： 开源 人工智能 生成模型 大模型 多模态
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52582710/article/details/147978814
版权

一、模型概述

AgentCPM-GUI 是由清华大学自然语言处理实验室 (THUNLP) 和 ModelBest 联合开发的开源大模型。该模型基于 MiniCPM-V 架构，拥有 80 亿参数规模，是一个能够直接在终端设备上运行的轻量化智能体。它创新性地将多模态输入与 GUI 操作相结合，主要面向移动终端应用交互场景，通过接收智能手机屏幕截图作为输入，自动执行用户指定的各类任务。这标志着智能体技术在移动端 GUI 操作领域迈出了重要一步，为后续研究和应用开发提供了新的思路。

二、关键特性

  1. 高质量 GUI 定位能力 ：AgentCPM-GUI 在大规模双语 Android 数据集上进行了预训练，有效提升了对常见 GUI 元素（如按钮、输入框、标签、图标等）的识别与理解精度，使其能更精准地定位界面中的操作目标。

  2. 中文应用适配优势 ：作为首个面向中文应用精细调优的开源 GUI 智能体，它支持包括高德地图、大众点评、哔哩哔哩、小红书等 30 多款热门应用，打破了语言壁垒，拓展了智能体在中文移动应用生态中的应用范围。

  3. 强化推理规划能力 ：借助强化精调（RFT）技术，模型在执行操作前能够进行深度 “思考”，模拟人类的决策过程，从而在复杂任务场景下显著提高了任务执行的成功率，增强了智能体应对多步操作任务的能力。

  4. 紧凑的动作空间设计 ：对动作空间进行了优化，采用简洁的 JSON 格式表示操作指令，将平均动作长度压缩至 9.7 个标记，大幅提升了在终端设备上的推理效率，降低了计算资源消耗，使模型更易于在移动设备端部署和运行。

三、性能评估

（一）基准测试对比

在接地基准测试中，AgentCPM-GUI 在多个评估指标上均展现出优异性能。例如，在 fun2point、text2point、bbox2text 以及平均指标上，AgentCPM-GUI-8B 分别取得了 79.1、76.5、58.2、71.3 的成绩，全面超越了其他对比模型如 Qwen2.5-VL-7B、Intern2.5-VL-8B 等，这表明其在将功能描述映射到具体 GUI 元素坐标点、文本内容与坐标点关联、边界框文本提取等任务上具有更精准的表现，能够更可靠地完成基于 GUI 的任务指令。

（二）智能体基准测试表现

在智能体基准测试涵盖的 Android 控制低 TM、Android 控制低 EM、Android 控制高 TM、Android 控制高 EM、GUI Odyssey TM、GUI Odyssey EM、AITZ TM、AITZ EM 等多个子数据集评估中，AgentCPM-GUI 同样取得了领先地位。以 Android 控制高 TM 数据集为例，AgentCPM-GUI 达到了 90.85 的高分，相较于其他模型如 UI-TARS-7B 的 78.79、OS-Atlas-7B 的异常值 91.83* 等，整体表现更加稳定且优秀，充分证明了其在复杂 GUI 场景下的高效控制能力和任务执行能力。此外，与其他大型模型如 GPT-4o、Gemini 2.0 等相比，AgentCPM-GUI 在特定 GUI 任务场景中也展现出了强大的竞争力，有力地缩小了与封闭式大型模型在 GUI 智能体应用领域的差距。

四、技术细节

（一）模型架构

AgentCPM-GUI 以 MiniCPM-V 为基础架构进行扩展和优化，继承了其高效的多模态融合处理能力，并针对 GUI 操作任务特点进行了适应性调整。该架构能够有效整合文本和图像信息，为模型理解屏幕截图中的 GUI 元素布局和内容提供了坚实的技术支撑，使其能够基于多模态输入生成精准的操作指令。

（二）训练方法

  1. 预训练阶段 ：利用大规模双语 Android 数据集对模型进行预训练，涵盖了丰富的 GUI 界面样式和操作场景，使模型初步具备了对不同 GUI 元素的识别和理解能力，为后续的精细调优奠定了基础。

  2. 强化精调（RFT）阶段 ：通过强化学习算法对模型进行进一步优化，重点提升了模型在复杂任务场景下的推理规划能力。在这一阶段，模型学习如何根据当前 GUI 状态和任务目标，合理地规划操作步骤，模拟人类的思考过程，从而提高任务执行的成功率和准确性。

（三）数据集

AgentCPM-GUI 的开发依赖于高质量的数据集支持。其中，预训练所使用的双语 Android 数据集包含了大量不同应用的界面截图及相关操作记录，涵盖了多种语言和文化背景下的 GUI 设计风格，为模型的跨语言 GUI 操作能力提供了丰富的训练素材。此外，为了更好地适配中文应用，还专门针对 30 多款热门中文应用进行了数据收集和标注，用于模型的精细调优，确保其在中文移动应用生态中的有效性和实用性。

五、应用案例与演示

论文提供了一个直观的演示案例，展示了 AgentCPM-GUI 如何根据用户指令操作移动应用。例如，当给定 “请点击屏幕上的‘会员’按钮” 这一指令，并输入相应的屏幕截图后，模型能够准确识别截图中的 “会员” 按钮位置，并生成相应的点击操作指令。通过实际的视频演示链接，研究人员和开发者可以更清晰地了解模型在真实移动应用环境中的操作效果和性能表现，这为模型的实际应用推广提供了有力的示范。

六、快速上手指南

（一）环境搭建

  1. 首先，通过 git 克隆项目仓库，获取 AgentCPM-GUI 的源代码。

  2. 创建名为 gui_agent 的 conda 虚拟环境，并指定 Python 版本为 3.11，为模型运行提供稳定的依赖环境。

  3. 从 Hugging Face 下载 AgentCPM-GUI 模型文件，并将其放置在项目的 model/AgentCPM-GUI 目录下。

  4. 激活 gui_agent 虚拟环境后，执行 pip install -r requirements.txt 命令安装项目所需的各种依赖包，包括 transformers、torch、PIL 等，确保模型能够正常运行和调用相关功能。

（二）代码示例与调用说明

  1. 模型加载与推理代码示例 ：展示了如何使用 PyTorch 和 transformers 库加载 AgentCPM-GUI 模型和分词器，并对输入的屏幕截图和指令进行处理，生成操作指令的代码流程。包括图像预处理（如调整图像大小以节省计算和内存资源）、构建输入消息格式以及调用模型的 chat 方法进行推理等关键步骤，为开发者提供了清晰的代码参考。

  2. vLLM 推理服务调用示例 ：介绍了如何启动 vLLM 服务器，并通过发送 HTTP 请求的方式调用 AgentCPM-GUI 模型进行推理。具体包括图像的 Base64 编码、构建符合要求的请求消息格式以及发送请求并获取响应的代码实现，拓宽了模型的应用调用方式，方便在不同系统环境中集成和使用模型。

七、未来展望

AgentCPM-GUI 的开源为 GUI 智能体领域带来了新的活力和机遇。其在跨语言 GUI 操作、复杂任务推理规划等方面的技术突破，为后续的研究和应用开发提供了宝贵的经验和参考。未来，随着移动应用的不断发展和用户需求的日益增长，AgentCPM-GUI 有望在更多的应用领域得到拓展和深化，如智能办公助手、移动游戏自动化操作、跨平台应用交互等场景。同时，研究人员可以在此基础上进一步优化模型性能、拓展模型功能，推动 GUI 智能体技术向更加智能化、高效化的方向发展，为人们提供更加便捷、智能的移动应用交互体验。

八、核心技术汇总

在这里插入图片描述

LLM - 理解 多模态大语言模型(MLLM) 的 架构(Architecture) 与相关技术 (二)
AGI
09-09 1432
多模态大语言模型 (Multimodal Large Language Models, MLLM) 框架包括 3 个部分：预训练的模态编码器、预训练的 大语言模型(LLM)、连接模态的 接口(Interface)，也可以添加可选的 生成器(Generator) 到 LLM，用于生成除了文本之外的其他模态。
LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略
2401_85280106的博客
06-04 1306
LLMs之LLaMA2：LLaMA2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略_一个处女座的程序猿的博客-CSDN博客实战应用相关LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略_一个处女座的程序猿的博客-CSDN博客。
【Meta开源大模型Meta-Llama-3.1微调SFT】
AI最前沿
08-05 820
Meta开源大模型Meta-Llama-3.1微调
大模型GUI系列论文阅读 DAY2：《ScreenAgent：一种基于视觉语言模型的计算机控制代理》
feifeikon的博客
01-20 1342
因此，为了实现这一目标，首先需要为视觉语言模型（VLM）代理创建一个真实的交互环境，然后引导模型与环境形成一个持续的交互流程，并通过训练提高代理的性能。【Kolb，2014】的启发，使代理能够进行反思性行为，使整个流程更加全面，并与人类的行动和思维过程保持一致。例如，基于 UI 元素元数据可以通过 HTML 或开发者模式轻松获取的基础假设，WebNav【Nogueira 和 Cho, 2016】，Mind2Web【Deng 等】等数据集提供了有限的应用场景......（请提供完整内容以完成翻译）。
大模型微调（Fine-tuning）全解，需要了解的都在这里
2401_85280106的博客
03-19 970
所谓大模型微调，指的在已有的大规模预训练模型基础上，通过对标注数据进行训练，进一步优化 模型的表现，以适应特定任务或场景的需求。不同于RAG或者Agent技术，通过搭建工作流来优化模型表现，微调是通过修改模型参数来优化模型能力，是一种能够让模型“永久”掌握某种能力的方法。
大语言模型RLHF训练框架全景解析：OpenRLHF、verl、LLaMA-Factory与SWIFT深度对比
fydw_715的博客
05-13 952
随着大语言模型（LLM）参数规模突破千亿级，基于人类反馈的强化学习（RLHF）成为提升模型对齐能力的关键技术。OpenRLHF、verl、LLaMA-Factory和SWIFT作为开源社区的四大标杆框架，分别通过分布式架构、混合控制器、模块化设计和国产化适配，为70B级模型训练提供创新解决方案。随着RL4LM技术的持续突破，未来将出现更多跨框架融合方案，推动AGI安全对齐研究进入新阶段。开发者应根据硬件条件、算法需求和部署场景进行动态选择，同时关注TRL、TRLX等新兴库的技术演进。
LLMs之Llama-3：Llama 3的简介、安装和使用方法、案例应用之详细攻略
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-20 5万+
​ LLMs之Llama 3：Llama 3的简介、安装和使用方法、案例应用之详细攻略 目录 Llama 3的简介 Llama 3的安装和使用方法 Llama 3的案例应用 Llama 3的简介 2024年4月18日，Meta 重磅推出了Meta Llama 3，Llama 3是Meta最先进开源大型语言模型的下一代，包括具有80亿和700亿参数的预训练和指令微调的语言模型，能够支持广泛的应用场景。这一代Llama在一系列行业标准基准测试中展示了最
解决：cc1.exe: sorry, unimplemented: 64-bit mode not compiled in
逍遥游的博客
08-11 2338
解决：cc1.exe: sorry, unimplemented: 64-bit mode not compiled in 在win下用Go语言的cgo时（比如下面场景）我们会用到的GCC编译器，Win下我们一般用MinGW。 Golang连接Oracle数据库；win下 golang 跨平台编译 MinGW全称Minimalist GNU For Windows，是个精简的Windows平台C/C++、ADA及Fortran编译器，相比Cygwin而言，体积要小很多，使用较为方便。MinGW提供了一套完整
在AMD GPU上部署AI大模型：从ROCm环境搭建到Ollama本地推理实战指南
deephub
05-06 4477
在 AMD 硬件上构建 LLM 推理环境目前仍面临一定技术挑战，尚未达到 NVIDIA CUDA 生态系统的即插即用水平。本文所述的工具链和配置方法，完全可以将现有的 AMD 游戏显卡转化为高效的 AI 推理设备。这种方案不仅在经济性上更具优势，还有助于推动 AI 硬件生态系统的多元化发展。随着 AMD 持续完善 ROCm 平台，以及开源社区对非 NVIDIA 硬件的支持不断增强，基于 AMD GPU 的本地 LLM 部署方案将获得更广泛的应用。
本地使用大模型：Ollama+open-webui+AnythingLLM(Windows+linux)
wpqgt的博客
12-17 1772
随着大模型的发展，大量的开源模型可以被直接使用。大模型的使用可以选择在云端或者在本地，如果本地存储空间尚可，而且模型需求不是很大的话，我们可以选择在本地部署一个大模型来使用。针对特定的任务需求，进一步在本地去微调我们的大模型。我在windows和linux上都尝试了一遍，这里记录一下过程。
【NLP笔记】开源MOSS对话语言模型安装实测
老富的博客
04-24 664
setuptools的版本=66.0.0，进行版本降级。但一看这网速，休息时候到了，该干嘛干嘛去吧…MOSS的gui缺失了mdtex2html。已经一目了然，全是CPU版本。看到这不出意外，造起来吧！
下一代视觉语言模型对比：CogVLM2、InternVL与多模态应用
全世界的博客
05-23 3460
CogVLM2作为下一代的视觉语言模型，集成了强大的多模态理解能力，它能够处理复杂的图像和长篇幅的文本，支持用户进行多轮的视觉和文本交互。跨模态理解：理解图像与文本的结合，执行图像描述、问答、视觉推理等任务。长文本处理：处理长达8,000个字符的文本，适合处理长文档和复杂对话。高分辨率图像支持：处理最高1344x1344分辨率的图像，保持视觉细节。多轮对话：支持与用户进行多轮视觉和文本对话，保持对话的连贯性和准确性。视觉接地：根据文本描述定位图像中的对象，实现视觉与语言的无缝连接。
Void: Cursor 的开源平替
05-14 932
在你的代码库中使用 AI 代理，检查点并可视化更改，并将任何模型或主机本地化。Void 直接向提供者发送消息，而不会保留你的数据。拥有与 Cursor 几乎一样强大的编程功能，最大的不同 Void 是可直接连接任何 AI 模型或使用本地部署模型，无需再经过第三方服务器。
鸿蒙北向应用开发: deveco5.0 创建开源鸿蒙项目
她的吻让他
05-13 840
本地已经安装deveco5.0。
开源网络地图可视化第六章学习指南
CUGLin的博客
05-13 1030
本文主要帮助同学们学习WebGIS以及可视化开发
阿里开源通义万相Wan2.1-VACE-14B：用于视频创建和编辑的一体化模型
直达开源前线，冲冲冲！
05-15 1338
Wan2.1是一个开放且先进的大规模视频生成模型套件，支持多种任务如文本到视频、图像到视频、视频编辑等，并在多个基准测试中超越现有开源和商业模型。其技术创新包括3D因果变分自编码器（Wan-VAE）和扩散变换器（DiT），显著提升了时空压缩效率和性能。Wan2.1提供了1.3B和14B参数规模的模型版本，支持480P和720P分辨率，并在不同GPU上展示了高效的计算性能。该模型已集成到多个平台，支持多GPU推理，并通过人工评估验证了其优越性。Wan2.1采用Apache 2.0许可证，团队持续更新模型并欢迎
商业架构 2.0 时代：ZKmall开源商城前瞻性设计如何让 B2B2C 平台领先同行 10 年？
最新发布
05-15 1063
在技术革新与商业变革加速的今天，ZKmall开源商城的前瞻性设计不仅满足了当下 B2B2C 平台的复杂需求，更预留了应对未来十年商业变化的架构弹性。降低试错成本：通过插件化扩展，支持快速验证新业务模式；提升迭代速度：基于中台架构，实现功能快速上线与迭代；释放数据价值：通过数据中台，实现全链路数据打通与智能决策；保障技术投资：架构设计支持技术平滑升级，避免重复建设。对于希望在数字化浪潮中保持竞争优势的企业而言，选择 ZKmall开源商城，即是选择一套能够支撑未来十年业务增长的 “数字原生” 商业架构。
docker部署WeDataSphere开源大数据平台
曼陀罗的博客
05-13 564
容器中各组件安装包均在/data/docker/Install目录下，除Streamis的配置文件在/data/docker/Install/streamis/streamis-server/conf目录，其他组件配置文件均在/data/docker/config目录下，日志均在/data/docker/logs目录，同时，我们提供了各组件升级文档，能够轻松完成升级和维护。直接用新的lib包替换/data/docker/Install/streamis/streamis-server/lib。
单机版大模型部署，用于构筑个人心理医生和文学作品创作
03-31
<think>好的，我现在需要帮助用户了解如何部署单机版大模型来实现个人心理医生功能和文学作品创作。首先，我得理清用户的需求：用户可能希望在本地环境部署一个大模型，既用于心理咨询，又能进行文学创作。这可能涉及到选择合适的模型、硬件配置、部署工具以及具体应用的方法。 首先，用户提到的“单机版大模型”意味着他们不想依赖云端服务，可能出于隐私或成本的考虑。因此，我需要考虑能在本地运行的模型，比如较小的开源模型，例如Phi-3、Alpaca或ChatGLM-6B。这些模型参数量适中，适合在个人电脑上运行，尤其是如果用户有中端显卡的话。 接下来是硬件配置。根据引用[4]提到的中端显卡如RTX 3060，用户可能需要至少这样的GPU来保证模型运行的流畅性。内存和存储方面，16GB以上内存和足够的硬盘空间也是必要的，特别是大模型文件通常都很大，比如7B参数的模型可能需要几十GB的存储空间。 然后是部署工具的选择。Ollama和OpenWebUI被引用[3]提到，这些工具可以帮助简化部署流程。Ollama支持快速部署模型，而OpenWebUI提供了友好的用户界面，适合非技术人员使用。此外，HuggingFace的Transformers库和LM Studio也是常见的选择，特别是LM Studio对非开发者更友好。 在心理咨询应用方面，需要指导用户如何通过微调或Prompt工程让模型适应心理咨询的场景。可能需要使用心理咨询的数据集进行微调，或者在交互时设计合适的提示词，比如让模型以心理咨询师的口吻回应。同时，要注意数据隐私，确保用户的数据在本地处理，不泄露到外部。 文学创作方面，模型需要具备创造性生成文本的能力。可能需要调整生成参数，如温度（temperature）和top_p值，以平衡创造性和连贯性。此外，提供具体的例子，比如如何生成小说段落或诗歌，会帮助用户更好地应用模型。 最后，用户可能需要一个整合的方案，将心理咨询和文学创作功能集成到一个系统中，可能通过不同的脚本或界面切换功能。同时，使用指南需要详细步骤，从安装到具体应用，确保用户能一步步操作。 可能遇到的问题包括硬件不足导致运行缓慢，这时候可能需要建议模型量化或使用更小的模型变体。另外，微调模型需要一定的技术知识，用户可能需要参考提供的资源链接或文档。 总结起来，我需要分步骤回答，涵盖模型选择、硬件准备、部署工具、应用实现以及使用技巧，同时引用相关的参考资料，如引用[3]的Ollama和OpenWebUI指南，引用[4]的硬件建议，确保回答的可靠性和实用性。</think>### 单机版大模型部署方案与应用指南 #### 一、部署方案 1. **硬件配置** - **显卡要求**：至少需中端显卡（如NVIDIA RTX 3060 12GB显存），支持FP16推理加速[^4] - **内存与存储**：建议16GB以上内存，存储空间需预留50GB以上（模型文件通常为10-30GB） - **CPU**：支持AVX2指令集的多核处理器（如Intel i5以上） 2. **模型选择** - **心理咨询场景**：推荐微调后的Llama-3-8B或ChatGLM-6B，支持情感分析、共情对话 - **文学创作场景**：可选用Phi-3-mini（4B参数）或StableBeluga2，擅长长文本生成和风格模仿 - 模型下载平台：HuggingFace Model Hub或魔搭社区 3. **部署工具链** ```bash # 使用Ollama快速部署（支持Windows/Linux/macOS） curl -fsSL https://ollama.com/install.sh | sh ollama run phi3 # 示例：运行Phi-3模型 ``` - 推荐组合： - **Ollama**（模型管理） + **OpenWebUI**（交互界面）[^3] - **LM Studio**（本地化GUI工具，适合非开发者） --- #### 二、心理咨询应用实现 1. **本地知识库构建** - 将心理学资料（如DSM-5诊断标准、CBT对话模板）转换为`.txt`文件，存储在`/data/psychology`目录 - 使用LangChain构建检索增强生成（RAG）系统： ```python from langchain_community.vectorstores import Chroma from langchain_community.embeddings import HuggingFaceEmbeddings embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh-v1.5") vectorstore = Chroma.from_texts(texts, embeddings, persist_directory="./psych_db") ``` 2. **对话模板设计** ```python PROMPT_TEMPLATE = """你是一位专业心理咨询师，请用温暖、非评判的语气回应。 当前对话背景：{context} 用户问题：{question} 回应需包含：情感确认→认知重构→行为建议，不超过200字""" ``` 3. **隐私保护措施** - 启用本地数据加密：使用SQLCipher存储对话记录 - 在Ollama配置中设置`OLLAMA_ORIGINS=https://localhost:*`限制跨域访问 --- #### 三、文学创作专项优化 1. **参数调优** - 生成配置建议： ```json { "temperature": 0.8, // 提高创造性 "top_p": 0.9, "max_length": 1024, // 支持长文本生成 "repetition_penalty": 1.2 // 避免重复 } ``` 2. **风格控制** - 在prompt中明确文学风格： ```text 请以海明威的冰山风格创作关于[主题]的短篇小说，注重环境描写和潜台词，人物对话简洁有力。 ``` 3. **批量生成与筛选** ```python from transformers import pipeline generator = pipeline('text-generation', model='./phi3-literature') outputs = generator("中世纪奇幻故事开头：", num_return_sequences=3, # 同时生成3个版本 do_sample=True) ``` --- #### 四、使用指南（关键步骤） 1. **快速启动流程** ```mermaid graph TD A[安装Ollama] --> B[拉取模型 ollama pull phi3] B --> C[启动OpenWebUI ./serve.sh] C --> D[浏览器访问 http://localhost:8080] ``` 2. **心理咨询模式切换** - 在OpenWebUI的"预设"中选择： - `心理咨询师模式.json`：包含共情对话模板 - `文学创作模式.json`：启用创意写作参数 3. **性能优化技巧** - 启用4-bit量化： ```bash ollama run phi3 --quantize q4_0 ``` - 对显存不足的情况，添加`--num_gpu_layers 20`参数分配更多计算到GPU ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值