机器人进化新篇章：CMU打造“变形金刚”级自适应机器人

最新推荐文章于 2024-11-11 00:47:47 发布

深蓝学院

最新推荐文章于 2024-11-11 00:47:47 发布

阅读量539

点赞数 18

文章标签：机器人人工智能深度学习

本文链接：https://blog.csdn.net/soaring_casia/article/details/140148877

版权

论文标题：

Building Adaptable Generalist Robots

论文作者：

Mengdi Xu

在过去的十年中，深度学习在机器人的应用中进步显著。然而，这些机器人通常难以被推及使用在全新的、未见过的中，这表明着开发通用机器人方面的需求还有极大的提高空间。

虽然现有的研究主要通过大规模预训练来增强泛化——为机器人提供庞大的数据集和广泛的参数，并将泛化视为一种自然出现的特质——但这种方法并没有完全解决现实世界的复杂性。现实世界呈现出无限多的任务，其中许多任务超出了这些机器人以前遇到的训练场景的范围。例如，在医疗保健中，机器人必须管理由于患者多样化潜在意图导致的部分可观测性，这些在数据集中并未被覆盖。同样，自动驾驶车辆必须导航不可预测的交通、天气和道路条件，这些可能超出了训练数据的范围。

本文认为，除了可扩展性之外，强大的适应能力对于提高现实世界应用中的泛化至关重要。研究人员探索了构建能够在部署时有效适应的机器人的策略，重点关注数据效率、参数效率和鲁棒性。研究深入探讨了各种自适应学习方法，包括在有限数量的演示条件下的情境机器人学习、揭示机器人任务结构的无监督持续强化学习，以及使用大型基础模型构建具身代理。这些方法展示了巨大的潜力，使机器人能够在不同的应用中获得新的运动技能，并通过创造性地使用工具解决复杂、长期的物理难题。

在这里插入图片描述
▲图1 | 本文方法概述©️【深蓝AI】编译

1. 机器人适应性：面对现实挑战与技术需求的创新策略

现实世界是复杂多变的，机器人在实际应用中经常遇到未曾见过的任务。这些任务可能涉及新的环境、对象或目标，要求机器人能够快速学习和适应。然而，现有的算法往往在泛化能力上存在局限，难以应对这种不确定性。因此，如何提升机器人的适应性成为了人工智能领域的一个热点问题。

本文作者用少样本泛化来实现的Prompt-DT，即 Prompt-Decision Transformer。该方法利用Transformer架构的序列建模能力，通过少量的轨迹提示实现对新任务的快速适应。这种模型不需要在新任务上进行额外的微调，就能够生成适应新任务的策略。这一技术的关键在于，它将任务特定的信息编码在轨迹提示中，引导策略的生成。

在这里插入图片描述
▲图2 | Prompt-DT 少样本泛化生成©️【深蓝AI】编译

面对新任务，研究人员制定了快速调整策略的方式，具体而言，Hyper-Decision Transformer（HDT）给出了这一问题的答案。HDT通过在预训练的Transformer模型中引入适配器层，并使用超网络进行参数初始化，实现了对新任务的高效适应。这种参数高效的适应方法，不仅减少了计算成本，还显著提升了适应速度。

若要进行持续适应性学习，则需要应对非静态环境中的挑战。在非静态环境中，任务可能会随时间而变化。作者提出的在线模型基础强化学习方法，通过使用无限混合的高斯过程来表示系统动态，有效地处理了这一问题。该方法通过在线变分推断更新模型，同时通过合并和剪枝机制保持模型的稳定性和效率。

而面对不确定性的策略，鲁棒性评估至关重要。现实世界的高风险应用要求机器人策略不仅要高效，还要稳健。作者提出的群体分布鲁棒强化学习方法（GDR-MDP），通过考虑任务群体内的不确定性，生成了对信念估计误差更加稳健的策略。此外，针对罕见事件的评估方法，为安全关键系统的部署提供了重要保障。

基于语言提示的工具使用，作者创造了RoboTool的创造性应用，从而探索「如何利用大型基础模型解决多步骤物理难题」。RoboTool系统能够理解自然语言指令，并将其转化为控制机器人的可执行代码。这一系统不仅展示了工具选择、顺序使用工具和制造工具的创造性行为，还证明了机器人处理复杂任务的泛化能力。

2. 实验验证：从模拟到现实世界的跨越

本项研究的实验部分通过精心设计的测试流程，全面验证了所提出机器人适应性技术的有效性。

实验首先集中在评估Prompt-Decision Transformer（Prompt-DT）的少样本泛化能力：在MuJoCo控制任务上，Prompt-DT利用从专家演示中提取的简短轨迹提示，展现了在未见过的任务上进行快速适应的能力。实验结果显示，即使在只有少量轨迹提示的情况下，Prompt-DT也能在多个控制任务中实现与基线算法相比显著的性能提升，证明了其强大的泛化潜力。

在这里插入图片描述
▲图3 | 在测试分配任务的泛化能力时，培训和测试任务的索引©️【深蓝AI】编译

第二步实验则专注于Hyper-Decision Transformer（HDT）的在线策略适应性能：在Meta-World基准测试中，HDT通过超网络初始化适配器层，展现了在新任务上的快速适应能力。

实验设置了两种情况：一种是有专家动作的演示，另一种则没有。在两种情况下，HDT都显示出了优越的数据效率和参数效率。特别是在没有专家动作的挑战性环境中，HDT通过在线探索和适配器层的快速微调，实现了高达80%的成功率，显著超过了传统的微调整个模型的方法。这些实验不仅证明了HDT在参数和数据效率上的优势，也突显了其在处理现实世界任务时的潜力和鲁棒性。

此外，实验还包括了对持续适应性学习、鲁棒性评估以及基于语言提示的工具使用等方法的测试。这些实验在不同的环境和任务中进行，例如非静态的强化学习环境、具有潜在意图的复杂任务，以及需要创造性解决问题的场景。通过这些广泛的实验设置，作者的研究成果不仅在理论上得到了验证，而且在实际应用中的有效性和可靠性也得到了充分的展示。这些实验结果为机器人适应性技术的发展提供了有力的实证支持，并为未来的研究方向和技术进步奠定了坚实的基础。