突破性进展！加州大学伯克利分校提出Causal Transformer模型，实现人形机器人通过强化学习适应真实世界人形运动

人形机器人具有模仿人类行为和形态的能力，可以胜任一些复杂、危险或单调的工作。除却在传统的工业生产线和仓储物流领域帮助解决劳动力短缺问题，在医疗、教育、家庭服务等多个领域人形机器人也具有巨大应用潜力。

然而，由于智能化水平仍有待提升，目前大部分人形机器人在适应新环境方面仍存在难度。前不久，来自加州大学伯克利分校的研究人员提出了使用序列建模和动作预测的Causal Transformer模型。该模型实现了让人形机器人可以在室内外各种环境中稳健行走，应对不同地形，甚至还能背个书包，提袋垃圾。

那么该模型具体是如何实现的呢？接下来一起和机器人大讲堂来深入看看吧！

▍学习人形运动

研究人员提出了一种创新的基于学习的人形运动方法，其核心是一个Transformer控制器。该控制器通过自回归的方式，根据过去的观察和动作历史来预测未来的动作。

我们假设，观察和行动的历史能够隐式地编码关于世界的信息。借助强大的Transformer模型，研究人员能够在测试时利用这些信息来动态调整模型的行为。

该控制器是一个因果 Transformer，通过从观察动作历史中对未来动作的自回归预测进行训练

例如，模型可以利用期望状态与实际状态的历史记录，来决定如何调整操作，以便更好地实现未来的状态。这种学习方式可以被视为一种上下文学习，即在不更新模型参数的情况下，改变模型的行为。

这样的方法不仅提高了模型的预测精度，而且使得模型能够更好地适应不同的环境和任务。这为人形机器人在未来更广泛的应用领域提供了新的可能性。

▍仿真中的大规模并行训练

该模型在模拟环境中进行大规模无模型强化学习（RL）训练，涵盖了各种随机环境。
训练过程中，研究人员利用了由 IsaacGym 提供支持的快速 GPU 模拟技术，并实现了跨多个 GPU 和数千个环境的并行训练。

研究人员平面、粗糙平面和平滑斜坡等在各种地形类型上训练其策略。机器人执行各种随机采样的行走命令，例如向前行走、侧向行走、转弯或其组合。

得益于这种高效训练方式，研究人员得以收集大量样本用于训练，每天可达到约 100 亿个样本。

这样的训练方法确保了模型在处理复杂环境时的强大适应性和鲁棒性，为未来的应用提供了坚实的基础。

▍实际部署与应用训练

在实际部署中，研究人员惊喜地发现，完全在模拟中训练的策略能够顺利、零样本地应用于现实世界。

为了验证其实用性，研究人员将控制器部署到了各种室外环境中，包括广场、人行道、跑道以及草地。这些环境的地形在材料特性（如混凝土、橡胶和草地）以及条件（如干燥或潮湿）方面存在显著差异，为策略提供了严峻的挑战。

尽管这些环境差异巨大，但策略表现出了强大的适应性和鲁棒性，证明了其在现实世界应用中的潜力。

全向行走

在进行全向行走时，控制器能够精准地响应一系列速度指令，实现全方位的运动，包括前进、后退和转向。这种卓越的控制能力确保了机器人在各种环境中的灵活性和适应性，为其实用性提供了有力支持。

动态手臂摆动

在动态手臂摆动方面，通过部署控制器，机器人能够展现出与人类相似的动态手臂摆动行为，这种行为与腿部运动相协调，保持了对侧的特性。这一发现表明，该研究策略在实现类人协调运动方面具有显著效果，为机器人的自然运动表现提供了有力支持。

情境适应

同时，研究人员也对“控制器在机器人左腿遇到离散台阶障碍物时的恢复能力”进行了深入研究。

值得注意的是，在训练过程中，机器人并未接触过台阶或其他形式的离散障碍物。这一实验设置具有实际意义，因为当前人形机器人缺乏视觉能力，可能会在未知环境中遭遇此类障碍。

实验结果显示，尽管面临前所未有的挑战，控制器仍然能够根据历史观察和操作数据，检测并响应脚步事件。

具体来说，当机器人的腿踩到台阶时，控制器会引导机器人在后续动作中尝试抬高、加速腿部运动，以克服障碍。

此外，研究人员还命令机器人在包含三个部分的地形上前行：首先是平坦区域，然后是一个向下倾斜的斜坡，最后再次是平坦区域。

通过观察可以看到，控制器能够根据地形调整其行走方式。从在平坦区域自然行走，到下坡时采用小步行走，再到再次自然行走，这种步态的调整是自发的，并未在训练期间预设。

这一发现进一步证明了控制器在复杂地形中的适应性和鲁棒性。

外部干扰

在最后一部分实验中，研究人员对政策的稳健性进行了测试，考察了其对突发外部力量的应对能力。

实验包括将木棍轻轻推动机器人以及向机器人扔一个大瑜伽球两种情况。

结果表明，在这两种极端情况下，控制器均能有效地稳定机器人，展现出强大的适应性和鲁棒性。

这些实验结果充分证明了控制器在应对突发情况和复杂环境中的优越性能，为其实践应用提供了强有力的支持。