一篇大模型GUI Agent最新综述

最新推荐文章于 2025-03-31 10:21:19 发布

ai大模型应用开发

最新推荐文章于 2025-03-31 10:21:19 发布

阅读量1k

点赞数 12

本文链接：https://blog.csdn.net/2401_85375298/article/details/144159713

版权

嘿，大家好！这里是一个专注于AI智能体的频道~

从Agent到GUI Agent是今年下半年的一个大趋势。

GUI的优势在于，相比于命令行界面（CLI），非技术用户也能有效地与复杂系统进行交互。

但是早期的GUI自动化依赖于脚本或基于规则的方法，这些方法虽然对固定工作流程有效，但缺乏动态、现实世界应用所需的灵活性和适应性。限制了它们的可扩展性和多功能性。

目前的像cursor、智谱AutoGLM 等“LLM-Brained” GUIAgent能够解释复杂的GUI元素，并根据自然语言指令自主执行动作。

用户能够通过简单的对话命令执行复杂、多步骤的任务，改变了用户与软件的交互方式。

这个新的交互模式，跨越了网页导航、移动应用交互和桌面自动化等多个领域，为用户提供了新的革命性的用户体验。

从早期的GUI自动化尝试发展到当前利用LLMs的智能体，分为3个大的关键阶段，如下图：

早期自动化系统: 基于预定义规则或者脚本来管理GUI交互，再预定义工作流程中效果显著，但是再动态环境中使不上力。
向智能Agent转变: 通过ML,DL识别用户行为，通过NLP捕捉用户指令，通过RL完成与环境交互。
LLM-Brained GUI Agent: 借助LLM理解用户指令，页面结构，结合移动、桌面设备，完成一系列的复杂操作。

LLM-Brained GUI Agent的系统，从从接收用户请求到完成任务的系统化工作流程，如下图：

上图包含了环境感知、提示工程PE、模型推理、动作执行和记忆利用等关键步骤。下面会单独介绍每个步骤。

GUI Agent的运行环境一般包括移动、桌面、浏览器端等平台

GUI Agent通过截图、控件树等方式来感知环境状态。

Agent利用环境反馈（如截图更新、UI结构变化等）来评估动作效果并调整策略。

PE工程，一般包括用户请求、Agent指令、环境状态、动作文档、示例演示和补充信息等关键元素。

LLM从构建的提示中进行推理，生成计划和具体动作。包括规划、动作推理和补充输出等关键组成部分。

GUI Agent利用短期记忆（STM）和长期记忆（LTM）来跟踪任务进度和管理状态。短期记忆用于存储当前任务的上下文信息，而长期记忆用于存储跨任务的历史数据和经验。

基于计算机视觉的GUI解析、多Agent框架、自我反思、自我进化和强化学习，这些技术可以显著提高LLM-Brained GUI Agent的能力和性能。

GUI Agent 框架

Web GUI Agent

WebPilot 通过结合全局优化和局部优化策略，使用蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）来提高在复杂和动态Web环境中的适应性。这个系统能够将高层次的任务分解为可管理的子任务，并针对每个子任务进行局部优化。

Mobile GUI Agents

AppAgent：利用GPT-4V模型，通过实时截图和XML文件细节进行用户类动作，如点击和滑动。
MobileAgent：采用视觉中心方法，不依赖系统特定数据，使用GPT-4V和Grounding DINO进行图标检测。
CoCoAgent：处理GUI元素，如图标和布局，执行标准UI操作，使用CLIP进行视觉编码和LLaMA-2chat-7B进行语言处理。

Computer GUI Agents UFO：专为Windows OS设计，采用双Agent架构，包括HostAgent和AppAgent，处理应用程序选择和全局规划以及特定任务执行。
Cross-Platform GUI Agents

AutoGLM：结合Web浏览和Android控制，使用ChatGLM3-6B模型，采用自进化在线课程RL框架。
TinyClick：适用于Web、移动和Windows平台，处理GUI截图，执行标准UI操作和原生API交互。
OSCAR：适用于桌面和移动环境，采用GPT-4模型，能够适应实时反馈并动态调整动作。

数据集：

GUI Agent训练所需的关键数据，包括用户指令、环境感知数据（如GUI截图、控件树和UI元素属性）以及任务执行轨迹。

一个完整的数据收集流程，从初始用户指令的收集开始，经过指令的具体化（Instantiation）、过滤、增强，到执行任务并记录环境状态和动作序列，最后进行数据评估和清洗。

Web Agent Data

Mind2Web：一个强调开放任务描述的数据集，推动Agent独立解释高级目标。
WebVLN：结合导航和问题回答的数据集，利用HTML和视觉内容从网站中定位相关信息。
WebLINX：专注于对话式GUI Agent的数据集，通过多轮对话进行真实世界的Web导航。

Mobile Agent Data

Rico：提供了大量Android应用的UI屏幕和用户交互追踪的数据集。
PIXELHELP：专门为将自然语言指令与移动UI操作关联而设计的数据集。
**AITW (Android in the Wild)**：覆盖广泛的Android应用和UI状态的大型数据集，用于开发能够在没有API依赖的情况下导航应用界面的GUI Agent。

Computer Agent Data

ScreenAgent：一个专门设计用于Linux和Windows桌面环境GUI控制的数据集和模型。

Cross-Platform Agent Data

ScreenAI：扩展数据收集范围，包括移动和桌面界面，覆盖任务如屏幕注释、问题回答和导航。
VisualAgentBench：一个跨平台基准测试，评估GUI Agent在移动和Web环境中的表现。

数据优化总结

规模和多样性：强大规模、多样化数据，对于训练能够处理不同UI状态和任务的鲁棒GUI Agent非常重要。
跨平台灵活性：跨平台数据集很重要，它使得Agent能够在多个平台上一致地执行。
自动化数据收集：AI驱动的数据收集工具，可以显著减少手动工作量，加速可扩展的数据集创建。
统一的数据格式和协议：强调了建立标准化的数据收集协议或动作空间的重要性，以提高Agent的兼容性和一致性

好了，这就是我今天想分享的内容。如果你对构建AI智能体感兴趣，别忘了点赞、关注噢~

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述