【ScreenAgent】《ScreenAgent: A Vision Language Model-driven Computer Control Agent》译读笔记

ScreenAgent: A Vision Language Model-driven Computer Control Agent

摘要

现有的大型语言模型（LLM）能够调用多种工具和APIs来完成复杂的任务。计算机，作为能力最强和通用性最好的工具，则可能由训练后的LLM代理直接进行控制。借助计算机能力，有望构建一个更为通用化的智能体，来协助人类处理各种日常数字化工作。在本文中，我们构建了一个环境，使视觉语言模型（VLM）代理能够与真实计算机屏幕进行互动。在这个环境中，agent能够观察屏幕截图并通过输出鼠标和键盘操作来操控图形用户界面（GUI）。本文还设计了一套自动化控制流水线，包括planning、acting与reflecting三个阶段，指导agent持续与环境互动并完成多步骤任务。此外，本文构建了ScreenAgent数据集，该数据集在完成各种日常计算机任务时收集了屏幕截图及对应的动作序列。最终，我们训练了一个模型——ScreenAgent，其计算机控制能力可与 GPT-4V 相媲美，并展现出更精确的UI定位能力。本文的尝试可以激发进一步研究以构建通用型LLM智能体，相关代码已发布在https://github.com/niuzaisheng/ScreenAgent。

1 引言

最近&