具身导航、一环通达！RING：机器人室内导航通用策略

最新推荐文章于 2025-02-21 16:40:04 发布

小天才学习机打游戏

最新推荐文章于 2025-02-21 16:40:04 发布

阅读量697

点赞数 13

文章标签：机器人算法人工智能深度学习机器学习 java

本文链接：https://blog.csdn.net/m0_59164520/article/details/145596584

版权

标题：The One RING: a Robotic Indoor Navigation Generalist
项目主页: https://one-ring-policy.allen.ai/

主要贡献

论文提出了机器人室内导航通用策略RING，该策略在模拟中通过大规模随机生成的机器人实体进行训练，能够在未见过的实体上实现零样本泛化。
训练时，能够适应各种不同的机器人实体（如摄像头配置、身体尺寸和旋转中心点），并在真实世界中表现出色。这种跨实体的适应性减少了为每个特定机器人重新训练的需求。
训练后，可以直接转移到真实世界的机器人平台上，而不需要任何额外的适应或微调。这展示了模拟训练在跨实体泛化中的强大能力。
RING能够根据其实体和与环境的交互动态调整其行为。这种实体自适应行为使得策略能够在不同的机器人平台上表现出最优的导航策略，从而提高了整体的导航性能。

研究背景

研究问题

现有的导航策略大多是特定于某个机器人配置的，无法很好地泛化到其他机器人上，即使是小的身体尺寸或相机视角的变化也可能导致失败。

论文主要解决的问题是如何训练一个能够在不同机器人平台上零样本迁移的导航策略。

研究难点

该问题的研究难点包括：

不同机器人的形状、尺寸和传感器配置差异导致的行为多样性；
如何在没有大量真实世界数据的情况下，训练出一个能够适应多种配置的通用导航策略；
如何弥合模拟训练和真实世界之间的差距。

RING

问题定义

多任务学习问题：学习跨多个具身实体的导航策略是一个多任务问题。每个具身实体由其配置向量定义，包括摄像头设置、智能体碰撞器大小、旋转中心等。任务被建模为部分可观测马尔可夫决策过程（POMDP），其中状态空间和动作空间是共享的，但观察空间因具身实体的不同而变化。
状态和动作空间：状态和动作的下一个状态取决于当前状态、动作和具身实体参数。观察是状态和具身实体参数的函数。

大规模具身实体随机化

具身实体随机化：通过在模拟中对机器人实体的广泛随机化来训练策略，以实现对新实体的鲁棒部署。实体被建模为一个不可见的碰撞器盒，每个智能体可以有一个或两个RGB摄像头，其位置和参数随机采样。
参数范围：具体参数包括碰撞器大小、旋转中心、摄像头的垂直和水平视场角、摄像头俯仰角、摄像头位置和RGB图像的尺寸。这些参数的范围被设定为确保能够涵盖大多数机器人的特征。

架构设计

模型架构：RING的架构结合了视觉编码器、目标编码器和Transformer状态编码器，以及一个因果Transformer解码器。每个时间步，模型接受N个RGB图像和一个语言指令，预测动作分布。
视觉和目标编码器：视觉编码器（如ViT）和目标编码器（如语言模型）分别将RGB观察和指令编码为视觉和目标嵌入。这些嵌入与特殊的状态标记向量一起堆叠，并通过多层Transformer状态编码器进行处理。
Transformer解码器：Causal Transformer解码器通过因果注意力对沿时间轴堆叠的状态嵌入进行显式记忆建模，输出当前信念。线性actor-critic头进一步预测动作的对数概率和价值估计。

训练范式

模仿学习：首先在随机实体的大规模专家轨迹上进行模仿学习预训练。使用交叉熵损失计算动作对数概率和专家动作之间的差异。
强化学习微调：随后在模拟中使用强化学习对策略进行微调。采用DD-PPO算法，使用AdamW优化器进行训练。通过试错学习，策略能够适应多种实体并提高导航性能。

实验

零样本泛化到未见具身实体

实验设置：在四个机器人实体（Stretch RE-1、LoCoBot和Unitree A1）上进行零样本评估。基线方法包括模仿学习（IL）和强化学习（RL）策略，这些策略在特定实体上训练并在未见过的实体上进行评估。
结果：RING在所有未见过的实体上表现出强大的泛化能力，平均成功率比单一实体基线高出16.7%。RING在某些情况下甚至超过了在目标实体上训练的基线策略。

转移到真实世界的具身实体

机器人评估：在三个未见过的真实世界机器人（Stretch RE-1、LoCoBot和Unitree Go1）上进行零样本评估。所有评估均直接在大型公寓中进行，没有进一步的适应或微调。
人类评估：作为进一步展示策略的泛化能力，论文还进行了人类评估。五名参与者在厨房区域跟随策略的输出动作进行导航。RING在人类实体上的表现优于在Stretch RE-1上训练的基线策略。

具身实体专用策略的快速适应

实验设置：展示了RING如何通过最小化微调快速适应特定机器人实体。基线FLARE在每个实体上进行最多20M RL步骤的微调。
结果：RING在特定实体上表现出更好的性能，显示出其在不同实体之间的一致适应性。

具身实体自适应行为

RING在导航策略中显示出实体自适应行为。例如，不同的实体在相同的起始位置和动作序列下表现出不同的行为。RING能够根据实体的特性动态调整其导航策略。

消融研究

更强大的视觉编码器：研究了使用更强大的视觉编码器对性能的影响。结果表明，更强大的视觉编码器显著提高了零样本性能。

碰撞惩罚：添加小的碰撞惩罚到奖励函数中，结果显示碰撞率降低了50%，策略变得更加保守。

总结

论文介绍了RING，一种在模拟中训练的、不依赖于特定机器人配置的导航策略。
通过在大规模随机生成的机器人配置上进行训练，RING实现了零样本迁移到未见过的真实世界机器人平台，并在多个基准上取得了最优的性能。
此外，RING还能够根据机器人的身体特征动态调整其行为，展示了其在实际应用中的潜力。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述