“具身智能小镇”来了！机器人逛超市买菜满街跑，AI充当NPC，来自上海AI Lab

超逼真的机器人小镇来了！

在这里，机器人可以像人一样在超市里购物：

买菜回家做饭：

在办公室里接咖啡（旁边还有人类同事）：

不只有人形机器人，机器狗、臂式机器人也在这个“城市”里穿梭自如。

这就是由上海AI实验室最新提出的首个模拟交互式3D世界：GRUtopia（中文名：桃源）。

在这里，由多达100k个交互式、带精细注释的场景自由组合成逼真城市环境。

包含室内室外，餐厅、超市、办公室、家庭等89个不同场景类别。

由大模型驱动的NPC，可以在这个世界里和机器人对话交互。

这样一来，各种机器人能在虚拟小镇里完成各种行为模拟，也就是最近流行的Sim2Real路线，能大幅降低具身智能现实世界数据收集难度和成本。

该项目计划开源，现阶段在GitHub上已提供demo安装指南。

安装成功后，就能在demo里控制一个人形机器人在房间内活动，并支持调整不同视角。

机器人的虚拟桃源

其核心工作共有三项：

• GRScenes
• GRResidents
• GRBench

其中，GRScenes是一个包含大规模场景数据的数据集。

它极大程度上扩展了机器人可以活动和操作的环境范围，此前的工作更聚焦于家庭场景。

该研究表示，他们的目标是将通用机器人的能力扩展到各种服务场景，比如超市、医院等。同时覆盖室内室外环境，包括游乐园、博物馆、展览馆等。

对于各个场景，他们都进行了精细高质量建模，100 个场景包含 96 个类别的 2956 个交互式物体和 22001 个非交互式物体。

GRResidents是一个NPC系统。

它由大模型驱动，同时对模拟环境中的场景信息非常了解。因此NPC可以推断物体之间的空间关系，参与动态对话和任务分配。

借助于这个系统，GRUtopia可以生成海量场景任务供机器人完成。

通过与人类进行交叉验证，NPC系统在描述和定位对象上的准确率都不错。

在描述实验中，让NPC系统随机选择一个物体进行描述，人类能找到对应物体就算成功。

在定位实验中则反过来，如果NPC系统能根据人类给出的描述找到对应物体就算成功。

调用不同大模型的成功率不尽相同，综合来看GPT-4o的表现最好。

GRBench是一个评估具身智能表现的benchmark。

它包含3个基准，涉及目标定位导航（Object Loco-Navigation）、社交定位导航（Social Loco-Navigation）和定位操作（Loco-Manipulation），这三种评估的难度逐渐递增。

为了分析NPC和控制API的性能，研究提出了基于LLM和VLM的基线，以验证基准设计的合理性。

实验结果表明，与随机策略相比，在所有基准测试中，使用大型模型作为后端代理的表现都更好。

而且Qwen-VL在对话上的表现超过了GPT-4o。

最后整体对比来看，GRUtopia其他平台在各个维度上都更强大。

该研究工作由上海人工智能实验室OpenRobot Lab领衔。

该实验室聚焦研究具身通用人工智能，致力于构建软硬虚实一体化的通用机器人算法体系。

今年5月，该团队还发布了具身多模态大模型Grounded 3D-LLM，能够自动化生成物体到局部区域的场景描述与具身对话数据，有效缓解了目前三维场景理解的局限性。

论文地址：
https://arxiv.org/abs/2407.10943

GitHub地址：
https://github.com/openrobotlab/grutopia?tab=readme-ov-file

— 完 —

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。