“AI玩手机”原理揭秘：大模型驱动的移动端GUI智能体

作者｜郭源

前言

在后LLM时代，随着大语言模型和多模态大模型技术的日益成熟，AI技术的实际应用及其社会价值愈发受到重视。AI智能体（AI Agent）技术通过集成行为规划、记忆存储、工具调用等机制，为大模型装上“手脚”，使其能够利用强大的多模态感知交互与推理决策能力，与真实世界进行有效交互，成为连接人类与数字世界的桥梁，并迎来前所未有的发展机遇。（了解更多关于智能体的见解：《在后LLM时代，关于新一代智能体的思考》） 。

近期，在诸多类型的智能体中，能够自动化执行GUI（Graphical User Interface，图形用户界面）交互任务的多模态智能体受到了广泛的关注。多模态GUI智能体能在手机、平板、电脑等终端设备上，通过模拟人类的点击、滑动、输入等操作，与图形用户界面进行交互，完成信息获取和功能执行。例如下图中，移动端GUI智能体框架AppAgent[1]能够通过接受自然语言指令，理解用户意图，并制定执行计划，在手机APP中完成指定任务，展现了其强大的应用能力。

总体来说，多模态GUI智能体具备以下显著优势：

• 高实用价值：手机作为人类最常用的工具，将AI技术与手机深度融合，将带来极大的实用价值；
• 构建“AI操作系统”：有助于打破海量应用间的壁垒，实现手机功能间的统一管理；
• 提升用户体验：通过自动化完成重复繁琐的GUI操作，不仅能为日常生活带来便利，还能帮助行动不便的用户轻松使用手机功能，展现出更强的泛化性和拟人性。

近期，国内外众多企业纷纷瞄准GUI智能体领域，推出了一系列相关工作和产品，如Anthropic推出的基于Claude 3.5“Computer Use”功能、微软的解析屏幕截图、标注可交互元素的工具OmniParser、荣耀搭载智能体的个人化全场景AI操作系统MagicOS 9.0等 。

本文将聚焦于GUI智能体中的移动端智能体，从能力维度、核心挑战、技术细节、研究概况、发展瓶颈及未来趋势等多个方面，进行深入解析与探讨。

移动端GUI智能体的技术范式

总的来说，对于大模型驱动的移动端GUI智能体，其核心在于将任务指令、历史轨迹、当前状态、补充提示等信息输入大模型，经大模型推理后形成形式化的动作决策，并通过驱动工具在设备上执行。其技术范式可以从输入模态和基座模型两个维度进行分类。

目前，移动端GUI智能体大多在安卓（Android）平台上实现，这得益于安卓平台在调试工具、模拟器搭建和开源数据等方面的透明度和成熟度。

在输入模态方面，技术可以分为纯文本模态输入和多模态信息输入。纯文本模态主要依赖于Android平台的调试工具（如ADB）和模拟器，通过获取无障碍树（Accessibility Tree，ally tree） 或利用OCR（光学字符识别技术）和IconNet（GUI元素识别网络）等视觉工具解析截屏，获取界面元素和视图信息，然后将这些信息与任务目标、动作历史等一起输入语言模型进行决策。

例如，Google的Android in the Wild[2]和AndroidControl[3]两篇工作中的智能体实现，均采用了将屏幕信息以html格式的文本形式输入给模型的方法。而AndroidWorld[4]中的T3A模型，则是通过获取无障碍树生成的元素列表作为屏幕信息的输入，该列表还详细列出了各个元素上可执行的操作。模型经过推理后，会输出一个具体的操作指令，如{"action_type": "scroll","direction": "down"}，这种格式化的动作指令经过解析后，可以无缝对接Android调试工具，从而在实体设备上执行相应的操作。

AitW中屏幕解析得到的html

然而，纯文本信息输入模式存在依赖后台工具、解析错误、视觉信息缺失等问题。随着多模态大模型技术的发展，将屏幕截图作为视觉输入已成为操作新范式。例如，AutoGUI[5]创新性地基于第一性原理，构建了多模态GUI自主智能体。研究者们在1B级别的Encoder-Decoder多模态架构（BLIP2视觉编码器 + FLAN-Alpaca语言模型）上进行GUI训练，能够依据用户目标、历史动作及当前截图进行动作决策，实现了“所见即所得，决策即控制”；论文MM-Navigator[6]中探讨了利用GPT-4V进行GUI操作的可能性，通过输入带元素标注的屏幕截图和任务相关的信息，该模型在常用任务上展现了出色的零样本（Zero-shot）执行能力。

如今，将屏幕截图作为主要输入，并辅以工具及后台解析作为场景感知信息，已成为场景输入模态的主流方案。通过内生能力增强、屏幕解析工具插件等手段，智能体正逐步减少对后台信息、标注信息的依赖，以更便捷地适应更广泛的场景，这已成为一个技术发展的趋势。

在基座模型方面，技术路线包括基于闭源强模型API和基于开源模型领域训练两种。

针对闭源模型技术路线，人们发现GPT-4V，Gemini-1.5-Pro等SoTA多模态大模型已具备在GUI操作中展现零样本执行的潜力，并探究了Prompt的精细设计、输入信息的场景增强及多智能体合作等潜在领域。例如，AitZ（Android in the Zoo）[7]提出有别于传统Chain-of-Action和Chain-of-Thought