【ScreenAgent】《ScreenAgent: A Vision Language Model-driven Computer Control Agent》译读笔记

ScreenAgent: A Vision Language Model-driven Computer Control Agent

摘要

现有的大型语言模型（LLM）能够调用多种工具和APIs来完成复杂的任务。计算机，作为能力最强和通用性最好的工具，则可能由训练后的LLM代理直接进行控制。借助计算机能力，有望构建一个更为通用化的智能体，来协助人类处理各种日常数字化工作。在本文中，我们构建了一个环境，使视觉语言模型（VLM）代理能够与真实计算机屏幕进行互动。在这个环境中，agent能够观察屏幕截图并通过输出鼠标和键盘操作来操控图形用户界面（GUI）。本文还设计了一套自动化控制流水线，包括planning、acting与reflecting三个阶段，指导agent持续与环境互动并完成多步骤任务。此外，本文构建了ScreenAgent数据集，该数据集在完成各种日常计算机任务时收集了屏幕截图及对应的动作序列。最终，我们训练了一个模型——ScreenAgent，其计算机控制能力可与 GPT-4V 相媲美，并展现出更精确的UI定位能力。本文的尝试可以激发进一步研究以构建通用型LLM智能体，相关代码已发布在https://github.com/niuzaisheng/ScreenAgent。

1 引言

最近，诸如ChatGPT和 GPT-4 这样的大语言模型在自然语言处理任务中，如生成、理解和对话方面，表现出卓越的性能。它们也极大推动了其他领域的研究进展。尤其是这些技术的发展为智能 LLM agents 的研究铺平了道路，从而能够执行复杂的任务[SurveyLLMAgents_Wang_2023b]。LLM agent 是一种以大语言模型为核心计算引擎的人工智能实体。它具有感知、认知、记忆和行动等能力，使得代理能够执行高度自主的主动性行为[SurveyLLMAgents_Wang_2023b]（译者注：跟上一篇文献是同一文献）。在 LLM agent 的相关研究中，如何使agent学会有效地使用工具来扩大其动作空间引起了广泛的关注。
  随着个人电脑、智能手机、平板电脑和智能电子仪器等电子设备的日益普及，人们的生活与数字世界的联系也变得越来越紧密。