OSWorld：开启多模态智能体的真实计算机环境革命

最新推荐文章于 2025-04-22 18:18:10 发布
最新推荐文章于 2025-04-22 18:18:10 发布
阅读量544 收藏
点赞数
分类专栏： 人工智能，智能体及数字员工 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiezhipu/article/details/146050175
版权

OSWorld：开启多模态智能体的真实计算机环境革命

在这里插入图片描述

在人工智能技术突飞猛进的今天，多模态智能体正逐步突破实验室的限制，试图融入人类的日常工作场景。然而，如何评估这些智能体在真实计算机环境中处理开放式任务的能力，成为学术界和产业界共同关注的难题。2024年，由xlang-ai团队开发的OSWorld（Open-ended System World）应运而生，为这一领域提供了突破性的解决方案。

一、从虚拟到现实：OSWorld的核心价值

OSWorld是首个专为多模态智能体设计的可扩展真实计算机环境基准平台。其核心目标是模拟人类使用计算机的真实场景，涵盖从系统操作到复杂软件应用的多样化任务。通过集成虚拟机技术（VMware、VirtualBox）和容器化方案（Docker），OSWorld能够在标准化环境中实现任务的可靠复现与评估。无论是安装软件、编辑文档，还是数据分析与编程开发，智能体都能在接近真实的环境中完成挑战。

二、技术架构：灵活适配与高效扩展

OSWorld的技术设计强调灵活性与

了解本专栏 订阅专栏 解锁全文 超级会员免费看
OSWORLD: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments
c_cpp_csharp的专栏
03-05 463
能够在最少人工干预下完成复杂计算机任务的自主智能体，有望变革人机交互方式，显著提升易用性和生产效率。然而，现有的基准测试要么缺乏交互式环境，要么局限于特定应用或领域的环境，无法反映现实世界中计算机使用的多样性和复杂性，进而限制了任务范围和智能体的可扩展性。为解决这一问题，我们推出了OSWORLD，这是首个专为多模态智能体设计的可扩展真实计算机环境，支持在Ubuntu、Windows和macOS等多种操作系统上进行任务设置、基于执行的评估以及交互式学习。
OSWorld：真实计算机环境中开放式任务的多模式代理基准测试
klam2020的博客
04-15 1781
在 OSWorld 的基础上，我们创建了 369 项计算机任务的基准，涉及开放域中的真实 Web 和桌面应用程序、操作系统文件 I/O 以及跨多个应用程序的工作流程。 每个任务示例均源自真实世界的计算机用例，包括详细的初始状态设置配置和基于自定义执行的评估脚本，以实现可靠、可重复的评估。 对 OSWorld 上最先进的基于 LLM/VLM 的代理的广泛评估揭示了它们作为计算机助手的能力的重大缺陷。 虽然人类可以完成 72.36% 以上的任务，但最好的模型仅取得 12.24% 的成功，主要是在 GUI 基础和
OSWORLD: Benchmarking Multimodal Agents forOpen-Ended Tasks in Real Computer Environments论文学习
LI_XIAO_XING的博客
04-13 506
OSWORLD是第一个可扩展的、用于多模式代理的真实计算机环境，支持任务设置、基于执行的评估和跨操作系统的交互式学习。完成环境之后就开始与环境交互（接受诸如截图之类的信息），然后就开始根据指令工作，最后是评估。但现有的batchmark(基准)不是真的在一个可执行环境下，这会导致只有一个正确解，其余的可以方案也会被惩罚。一边接受图像（vit式）一边是要求。以前的工作成功率不超过15%，甚至会0%，尤其在有多个app参与的时候。之前的agent都是在简化过的范围内一些特定的应用上工作，非常受限。
Google AI生成视频实验性大模型VideoPoet四大功能；Sequoia Capital评选的AI 50未来公司名单；Ideogram发布1.0重大升级
haleycat的博客
04-12 548
OSWorld是一种全新的、用于多模态代理的实际计算机环境，它能够在不同的操作系统中（如Ubuntu、Windows和macOS）支持任务设置、基于执行的评估和交互式学习。OSWorld的目标是通过提供一个统一的测试环境来推进自主智能代理（比如AI助手）的发展，使它们能够更好地理解和执行多样化的计算机任务。地址：https://www.sequoiacap.com/article/ai-50-2024/地址：https://about.ideogram.ai/1.0-upgrade。
“computer use”赛道战火将起，哪个模型最强，这个评估平台可以了解一下
强化学习曾小健
10-29 259
其核心目的是提供一个可复现、可扩展的平台，以全面测试多模态代理在真实世界任务中的表现。得多了起来，那如果想要上手体验，哪个最方便使用且能代表当前最佳体验呢，笔者推荐 open-interpreter，它可以说是这一领域的探路者，笔者也曾多次介绍过这一工具（它涵盖了 369 个真实世界计算机任务，每个任务都配有详细的初始状态设置和自定义评估脚本，其中最新的。也在它的榜单之中，不出意外拔得头筹，比第二名openAI优势明显。随着 anthropics 最新模型的发布，在。54k，随着这一赛道被大众所关注，
GitRead推荐-【OSWorld】人人都说Agent，能现实交互才是真Agent
SeqAI的博客
07-09 384
当前最强GPT-4 Vision模型成功率不超过20%，智谱模型的1.32分😅
大模型GUI系列论文阅读 DAY1：《基于大型语言模型的图形用户界面智能体：综述》（6.6W 字长文）
feifeikon的博客
01-19 1660
大型语言模型（LargeLanguageModels,LLMs）的兴起[8][9]，特别是那些增强了多模态能力的模型[10]，为GUI自动化带来了颠覆性变化，重新定义了智能体与图形用户界面交互的方式。我们将回顾GUI智能体的发展历史，提供构建这些智能体的分步指南，汇总基本和高级技术，评审与框架、数据和模型相关的重要工具和研究，展示典型应用，并概述未来发展方向。通过这些问题，本综述旨在提供对该领域现状的全面概览，为构建LLM驱动的GUI智能体提供指导，识别关键研究空白，并提出未来工作的方向。
51c大模型~合集10
whaosoft~aiotの开发板商城
03-11 1127
我自己的原文哦~ https://blog.51cto.com/whaosoft/11547799美国太平洋时间 7 月 23 日，Meta 公司发布了其最新的 AI 模型 Llama 3.1，这是一个里程碑时刻。Llama 3.1 的发布让我们看到了开源 LLM 有与闭源 LLM 一较高下的能力。Meta 表示，“到目前为止，开源 LLM 在功能和性能方面大多落后于闭源模型。现在，我们正迎来一个由开源引领的新时代。”Meta 称 Llama 3.1 是目前最强的生成式 AI 产品。4 月份，Meta 已
OpenAI的CUA模型开启AI员工时代：技术革命与伦理困境
百态老人的博客
01-25 1291
Operator的“责任真空”本质是技术超前性与社会适应性脱节的缩影。解决这一问题需要技术、法律与伦理的协同创新——不仅依赖OpenAI完善模型可靠性与透明度，更需全球监管机构、企业与公众共同构建适应AI员工时代的责任框架。否则，责任真空可能成为阻碍AI代理普及的“阿喀琉斯之踵”，甚至引发系统性信任危机。
基于YOLOv11 和 ByteTrack 实现目标跟踪
xuejiazhi的专栏
04-22 299
YOLOv11（You Only Look Once，版本 11）代表了物体识别技术的最新进展，进一步突破了速度和准确性的界限。ByteTrack 是对这一强大检测能力的补充，它是一种先进的跟踪算法，可以无缝连接 YOLOv11 的跨帧检测。ByteTrack 充当视觉背后的大脑，一丝不苟地处理检测，并在物体穿过场景时保持一致的物体身份。之前我们介绍了使用YOLOv9与 ByteTrack 结合进行对象跟踪的概念，展示了这两种强大的技术如何有效地协同工作。完整代码：​​​​​​​。
CNN：卷积到底做了什么？
sagima_sdu的博客
04-16 1608
CNN 的核心思想是通过卷积操作从数据中提取局部特征，并逐步构建高层次的语义信息。简单来说，卷积的作用就是让 CNN 从像素级数据中提取有意义的特征，最终用于分类、检测、分割等任务。通过多层卷积操作，CNN 能够从低级特征（如边缘、纹理）逐步构建高级特征（如形状、对象），从而实现对复杂数据的理解和分析。卷积核是卷积操作的核心，其主要功能是从输入数据中提取局部特征，进而构建高层次的语义信息。卷积操作本质上是一种加权求和运算，通过滑动窗口的方式，在输入数据上施加不同的卷积核，提取局部区域的特征。
视频汇聚平台智能边缘分析一体机视频智能分析平台智能分析区域入侵检测算法
LntonCEC的博客
04-22 244
这种设备的广泛应用不仅能够提高安全防范的效率和准确性，还能够为各类场所的安全管理提供强大的支持和帮助，从而为社会的稳定和发展做出了积极的贡献。这种设备通过集成图像处理、智能识别和实时监测等先进技术，能够对特定区域内的入侵行为进行有效的监控和识别，从而及时地发现潜在的安全风险并采取适当的应对措施。智能边缘分析一体机的区域入侵检测功能能够提高安全监控系统的警戒性和反应速度，有效减少安全风险和事件发生的可能性，为各类场所（如公共场所、企业园区、仓库等）的安全管理带来极大的便利和帮助。
控糖减重革命：科学减脂与AI营养工具的协同效应
2503_90208218的博客
04-18 1212
展望未来，数据化营养干预模式将在健康管理领域发挥更为重要的作用。随着AI技术与营养学的深度融合，营养方案将更加精准、高效，为解决全球肥胖与慢性病问题提供创新路径。
OrangePi 5 Pro vs OrangePi AI Pro 详细对比分析
qq_30346433的博客
04-18 1505
这是一款优秀的通用开发板，拥有强大的RK3588S处理器，适合广泛的应用场景。它提供了良好的性价比，是入门RK3588平台的理想选择。: 这是专为AI开发优化的高集成度开发板，在保留OrangePi 5 Pro所有优点的同时，增加了内置无线、板载存储、HDMI输入和针对AI的硬件与软件优化。对于专注于AI应用开发的用户来说，额外的成本带来了显著的便利性和性能优势。如果您主要关注成本效益和通用性，OrangePi 5 Pro是更好的选择；
软件专利申请：审查意见是“拦路虎“还是“磨刀石“？
wdip15的博客
04-22 330
根据统计，超过85%的专利申请都会经历至少一次审查意见。这不一定是坏事——经过修改的专利，授权后更经得起无效宣告的挑战。就像璞玉需要雕琢，好的专利也是"磨"出来的。下次收到审查意见时，不妨泡杯茶，仔细看看审查员的"批注"。也许你会发现，这恰恰是让技术方案更严谨的好机会。毕竟，专利申请不是"一锤子买卖"，而是场需要智慧的持久战。申请过软件专利的朋友常问："是不是每次申请都会收到一两次审查意见？"作为过来人，今天咱们就用大白话聊聊这个事儿。
盈达科技GEO解决方案：破解AI时代品牌增长困局
最新发布
欢迎关注！盈达科技博客专注分享生成式引擎优化（GEO）核心技术，解析AI内容生成与搜索引擎协同优化的前沿方法论。
04-22 642
盈达科技GEO解决方案：破解AI时代品牌增长困局 ——全域优化策略助力企业抢占生成式AI流量高地
百度热力图数据获取，原理，处理及论文应用18
GGG信的博客
04-21 452
数据来源：百度慧眼数据形式：含坐标的csv点数据；shp数据（含csv点数据）；TIF栅格数据（含csv，shp数据）；PNG可视化图片。多种数据形式可选。价格：市为单位，每天有24个时间点。也可提供shp格式，核密度/反距离tif格式，数据格式不同价格不同。直接选TIF的好处：不用手动从csv转shp，不用考虑投影带，不用手动核密度，我可以确保数据一定符合你的研究，会跟你确定栅格大小和研究区，根据研究区裁剪数据。用途：城市/街道活力，人口统计，选址分析，商圈分析，活力分析等等。优势：全网最全最细！
《Dialogflow零基础入门教程》4 实践案例1-- 搭建简单聊天机器人
qq_41611586的博客
04-21 689
意图相当于用户向机器人提出的请求或问题，Dialogflow 通过识别用户输入的话来判断用户的目的是什么。“今天北京天气怎么样？“明天上海会下雨吗？这些句子的“意图”都是“查询天气”。实体是用户输入中关键的信息或参数。例如在“今天北京天气如何？”这句话里，“北京”就是实体，它代表用户要查询天气的地点。Dialogflow可以自动识别一些常用实体（如日期、城市等），也可以定义自己的实体。Dialogflow 提供了一个内置的模拟器工具，方便我们随时测试对话效果。
自监督学习：利用多模态语料库提升计算机视觉
本文探讨了多模态语料库中的图像与文本相关主题的自监督学习方法，旨在解决深度学习在计算机视觉任务中对大规模标注数据的依赖问题。研究者们提出了一个新颖的策略，即利用文本和图像的多模态内容，尤其是图像作为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

几道之旅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值