图形用户界面(GUI)长期以来一直是人机交互的核心,一种直观且以视觉驱动的方式来访问和与数字系统交互。本文提出了一份全面的LLM驱动的GUI Agents(智能体)的综述,探讨了它们的历史演变、核心组件和先进技术。
LLM驱动的GUI智能体的高级概念图示。智能体接收用户的自然语言请求,并在多个应用程序中无缝地协调动作。它从Word文档中提取信息,在Photos中观察内容,在浏览器中总结网页,在Adobe Acrobat中读取PDF,并在PowerPoint中创建幻灯片,然后通过Teams发送它们。
关于LLM驱动的GUI智能体的研究综述结构
GUI Agents发展与演化
详细讨论了大型语言模型(LLM)驱动的图形用户界面(GUI)智能体的发展和进步。
- 早期自动化系统:
-
随机基础自动化:使用随机动作序列进行GUI测试,这种方法在发现潜在问题时有效,但效率低下。
-
规则基础自动化:依赖预定义规则和逻辑来自动化任务,适用于预定义工作流程,但缺乏处理动态环境的灵活性。
-
脚本基础自动化:使用脚本语言(如Python、Java)控制GUI元素,这些方法对于静态界面有效,但在动态内容面前显得力不从心。
- 向智能体的转变:
-
集成了机器学习技术,使得GUI智能体能够更加适应和智能。
-
机器学习和计算机视觉:使用深度学习技术来识别屏幕和UI组件,使测试更加高效和直观。
-
自然语言处理:允许用户通过自然语言命令控制GUI,但这些方法通常限于简单命令,难以处理长期任务。
-
强化学习:在Web和移动平台上训练基于LLM的智能体,尽管这些方法比早期的规则基础系统更具适应性,但它们仍然难以泛化到多样化的未知任务。
- LLM-Brained GUI智能体的出现:
-
LLM的出现,尤其是多模态模型,通过自然语言交互重新定义了GUI自动化的可能性。
-
Web领域:LLM在Web领域的初步应用,建立了基准数据集和环境。
-
移动设备:LLM与移动设备集成,开始于AutoDroid等项目,这些项目结合了LLM与领域特定知识,用于智能手机自动化。
-
计算机系统:例如UFO等系统,利用GPT-4等模型的视觉能力,在Windows环境中执行用户命令。
-
行业模型:行业模型如Claude 3.5 Sonnet的“计算机使用”功能,标志着LLM-Brained GUI智能体在行业中的认可和投资。
**关于GUI自动化和LLM智能体的代表性调查和书籍的总结。**一个✓符号表示出版物明确涉及给定领域,而一个⃝符号表示出版物不专注于该领域但提供了相关见解。同时涵盖GUI自动化和LLM智能体的出版物被突出显示以强调。
GUI Agents架构与设计原则
详细介绍了大型语言模型(LLM)驱动的图形用户界面(GUI)智能体的基础架构和设计原则。
- 架构和工作流程概述:
-
LLM-Brained GUI智能体的架构包括多个组件,它们共同工作以解释用户指令并执行基于自然语言的任务。
-
工作流程从用户请求开始,包括环境感知、提示工程、模型推理、动作执行和记忆利用,直至任务完成。
基本LLM驱动的GUI智能体的架构和工作流程概览
- 操作环境:
-
智能体在不同的平台(如移动设备、Web浏览器和桌面操作系统)上与GUI进行交互。
-
每个平台都有其独特的特点,智能体需要适应这些特点以有效地感知和解释GUI。
- 环境状态感知:
-
智能体通过截图、控件树和其他方法来感知环境状态,这对于做出决策至关重要。
-
环境状态感知包括获取屏幕截图、控件树、UI元素属性等,以构建对界面的完整表示。
- 环境反馈:
-
智能体执行动作后,需要根据环境的反馈来评估动作的成功与否,并据此调整策略。
-
反馈可以是视觉变化、UI结构变化、函数返回值或异常。
VS Code GUI截图的不同变体示例
一个GUI及其控件树的示例
- 提示工程:
-
提示工程是构建详细提示的过程,它结合了用户指令、环境状态和动作文档,以指导LLM的推理。
-
有效的提示对于LLM理解和执行任务至关重要。
- 模型推理:
-
推理过程涉及规划和动作推理,LLM根据提示生成计划和具体动作。
-
推理输出包括计划、动作和补充输出,如推理过程和任务状态。
- 动作执行:
-
智能体根据LLM的推理结果执行动作,如鼠标点击、键盘输入或API调用。
-
动作执行是将LLM的文本输出转化为实际界面操作的过程。
- 记忆:
-
智能体需要记忆以管理状态和历史信息,这对于多步骤任务的连贯性和决策至关重要。
-
记忆分为短期记忆和长期记忆,分别存储当前任务的上下文和跨任务的历史数据。
- 高级增强:
- 除了基础组件,还有一些高级技术可以显著提高智能体的推理和能力,如基于计算机视觉的GUI解析和多智能体框架。
大模型GUI Agents框架
主要探讨了将大型语言模型(LLMs)集成到GUI自动化中的各种框架(frameworks)。这些框架使得智能体能够解释用户的自然语言请求,分析GUI屏幕及其元素,并在不同软件界面中自动执行动作。
- Web GUI智能体(Web GUI智能体):
- 介绍了几个关键的Web GUI智能体框架,如WebAgent、WebVoyager和AutoWebGLM,它们利用多模态输入和预测建模来提高Web任务的执行效率和适应性。
- 移动GUI智能体(移动GUI智能体):
- 讨论了移动平台GUI智能体的进展,包括AppAgent和MobileAgent等框架,它们通过结合多模态能力和复杂的架构来处理移动环境中的独特挑战。
- 计算机GUI智能体(计算机GUI智能体):
- 描述了计算机GUI智能体的发展,如UFO和OS-Copilot,它们提供跨多个应用程序的复杂任务执行能力。
LLM-Brained GUI智能体框架要点:
-
多智能体协同:多智能体系统通过分配不同角色给各个智能体,增强了任务效率和适应性,尤其是在处理复杂任务时。
-
多模态输入的优势:结合视觉输入(如屏幕截图)和文本输入可以提供更丰富的环境状态表示,帮助智能体做出更好的决策。
-
扩展动作集:智能体不仅限于UI操作,还包括API调用和AI驱动的动作,提高了交互水平和任务完成率。
-
新兴决策技术:如世界模型和基于搜索的策略等新兴方法,帮助智能体在复杂环境中进行更有效的决策。
-
跨平台泛化:跨平台框架支持智能体在不同平台间进行泛化,朝着创建能够在多个生态系统中一致运行的解决方案迈进。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。