微软发布Windows Agent Arena 为生成式AI代理提供基准测试

最新推荐文章于 2025-04-27 22:51:28 发布

吴脑的键客

最新推荐文章于 2025-04-27 22:51:28 发布

阅读量937

点赞数 4

分类专栏：人工智能文章标签： microsoft 人工智能

本文链接：https://blog.csdn.net/weixin_41446370/article/details/142282448

版权

人工智能专栏收录该内容

581 篇文章

订阅专栏

使用生成式人工智能和大型语言模型来自动化和简化使用 PC 的人员的任务的情况持续增长。不过，人们也需要了解人工智能在完成任务方面的工作表现。本周微软研究院宣布，它已开发出一种专门用于在 Windows PC 上测试人工智能代理的基准。

在这里插入图片描述
微软在 GitHub 页面上公布的这一基准名为 Windows Agent Arena。该框架旨在测试人工智能代理与人类通常使用的 Windows 应用程序的交互能力和速度。在 Windows Agent Arena 中与 AI 代理进行测试的应用程序列表包括Microsoft Edge 和Google Chrome 浏览器等网页浏览器、文件资源管理器设置等操作系统功能、Visual Studio Code 等编码应用程序、记事本、时钟和画图等简单的预装 Windows 应用程序，甚至还包括使用 VLC 播放器观看视频。

微软表示：

我们对 OSWorld 框架进行了调整，创建了 150 多个不同的 Windows 任务，这些任务跨越了需要代理在规划、屏幕理解和工具使用方面具备能力的代表性领域。我们的基准还具有可扩展性，可在 Azure 中进行无缝并行化，在短短 20 分钟内即可完成完整的基准评估。

在这里插入图片描述
微软研究院也创建了自己的多模式代理，名为 Navi，并在 Windows Agent Arena 基准测试中进行了测试。测试要求它在某些文本提示下执行任务，例如："你能把我正在浏览的网站转换成 PDF 文件并放到我的主屏幕上吗？"测试发现，Navi 的平均成功率为 19.5%，与人类 74.5% 的成功率相比仍然很低。