【论文通读】VideoGUI: A Benchmark for GUI Automation from Instructional Videos

前言

数字智能体的探索又来到了新的阶段，除了常见的桌面工具如PPT，Word，Excel，对于专业工具的使用是一个值得探索的领域，此外，专业工具往往对应着复杂的操作，面对几十上百操作的任务，当前的智能体能否根据query来给出相应的回答呢，本篇VideoGUI为这些问题指明了方向。

Paper	https://arxiv.org/pdf/2406.10227
homepage	https://showlab.github.io/videogui/

Abstract

自动化GUI可以提高人类生产力，但是现有的工作只关注于简单的电脑任务。本文提出新的多模态benchmark VideoGUI，旨在评估以视觉为中心的GUI任务上的智能体。该数据集来源网络高质量教学视频，关注于专业和新颖软件的任务和复杂操作。评估从多角度进行：

1. High-level Planning： 没有自然语言描述情况下从视觉角度重建子任务序列。
2. Middle-level Planning： 根据截图和目标生成精确的动作描述。
3. Atomic-level Execution