OS-Genesis：基于逆向任务合成的 GUI 代理轨迹自动化生成

引言

近年来，图形用户界面（GUI）代理（GUI Agents） 在软件自动化、辅助测试和 AI 驱动的任务执行中扮演着越来越重要的角色。然而，当前的 GUI 代理训练仍然面临 高质量数据稀缺 的核心挑战。现有的方法主要依赖：

• 人工标注数据：人工设计任务，并手动记录交互数据，成本高昂，且扩展性差。

• 基于预定义任务的合成数据：预设 GUI 任务，并利用规则或模型生成轨迹数据，但存在数据多样性不足、泛化性差的问题。

核心问题

1. 如何高效构建高质量的 GUI 代理训练数据？

2. 如何减少对人工标注和任务预定义的依赖？

3. 如何提高 GUI 代理在复杂交互任务中的泛化能力？

OS-Genesis 的贡献

OS-Genesis 提出了一种无监督的 GUI 轨迹数据自动合成框架，其核心思想是：

• 让代理在 GUI 环境中 主动探索，收集交互数据；

• 通过 逆向任务合成（RTS） 推导任务轨迹，而非依赖人工任务定义；

• 通过 轨迹奖励模型（TRM） 评估并优化数据质量；

• 实验表明，OS-Genesis 大幅提升了 GUI