【论文通读】OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis

前言

高质量轨迹数据的缺乏是训练GUI智能体的瓶颈，而人工标注既费时又费力，合成的轨迹数据质量较低。为突破这一瓶颈，本提出了创新的‘交互驱动’方法，有效合成高质量的GUI轨迹数据，从而为GUI智能体的发展提供了有力支持。

Paper	https://arxiv.org/abs/2412.19723
HomePage	https://qiushisun.github.io/OS-Genesis-Home/

Abstract

当前，基于视觉语言模型（VLMs）的GUI代理面临缺乏高质量操作轨迹的瓶颈。常规的数据采集方法，如人工标注或根据预定义任务合成数据，往往需要大量的资源，且难以保证数据质量，同时还面临数据多样性不足和与真实场景差距较大的问题。为此，本文提出了OS-Genesis，一个创新的GUI数据合成框架。该框架通过智能体与环境的交互，反向合成高质量的任务，以探索轨迹数据。此外，作者设计了轨迹奖励函数，以确保生成轨迹的质量。在动态测评环境中的结果表明，OS-Genesis相对现有的合成方法，在轨迹质量和多样性方面都表现出了显著的提升。

Mo