人工智能 - OmniParser V2：基于纯视觉的 GUI 代理,将任何 LLM 转变为计算机使用代理

OmniParser：基于纯视觉的 GUI 代理的屏幕解析工具

微软日前发布视觉Agent解析框架OmniParser最新版本V2.0，可将OpenAI（4o/o1/o3-mini）、DeepSeek（R1）、Qwen（2.5VL）、Anthropic（Sonnet）等大模型，转化为“计算机使用智能体”（Computer Use Agent）。相比前代版本，OmniParser V2在检测更微小可交互元素时精度更高、推理速度更快。具体而言，V2通过使用更大规模的交互元素检测数据集和图标功能描述数据进行训练，并通过缩小图标描述模型的输入图像尺寸，推理延迟较前代降低60%。

图形用户界面 （GUI） 自动化要求代理能够理解用户屏幕并与之交互。但是，使用通用 LLM 模型作为 GUI 代理面临几个挑战：1） 可靠地识别用户界面中的可交互图标，以及 2） 理解屏幕截图中各种元素的语义，并将预期作与屏幕上的相应区域准确关联。OmniParser 通过将像素空间的 UI 屏幕截图“标记化”为屏幕截图中可由 LLM 解释的结构化元素来缩小这一差距。这使 LLM 能够在给定一组已解析的可交互元素的情况下执行基于检索的下一个作预测。