论文速读|CrossFormer：扩展跨体学习以用于操作、导航、行走和航空的先进策略

项目地址：CrossFormer

总结
CrossFormer 是一种先进的跨体学习机器人策略，能够在不同动作空间的六种不同机器人体型上实现最佳性能，无需进行任何动作空间的对齐。

摘要
CrossFormer 是一个基于变换器的机器人策略，它能够消耗来自任何体型的数据，并且在最大、最多样化的数据集上进行训练，这个数据集包含 30 种不同机器人体型的 900,000 个轨迹。这项研究展示了相同的网络权重可以控制截然不同的机器人，包括单臂和双臂操作系统、轮式机器人、四旋翼无人机和四足机器人。与先前的工作相比，CrossFormer 不需要手动对齐观测空间或动作空间。在现实世界的广泛实验中，该方法与针对每个体型定制的专家策略表现相匹敌，同时在跨体学习领域显著超越了先前的最佳成果。CrossFormer 通过将跨体 imiter 学习问题视为序列到序列问题来实现其方法，使用基于变换器的策略来处理可变长度的输入和输出。观测、本体感知和任务规格通过特定于模态的分词器进行分词，然后组装成一个令牌序列，并输入到所有体型共享的解码器变换器主干中。变换器的输出嵌入然后被输入到每个体型类别的单独动作头中，以产生相应维度的动作。在单臂操作、双臂操作、导航和行走等四种不同的动作模式中，CrossFormer 与仅使用目标体型数据训练的同一架构（单一机器人基准线）以及最佳先前方法进行了比较。总体而言，CrossFormer 的表现要么超过了先前的最佳成果，要么与之相当。此外，该研究还提供了每个动作模式的评估视频，并与先前的最佳方法进行了比较，其中包括了观察空间和动作空间对齐的方法，如 Yang et al. 的工作。CrossFormer 放弃了动作对齐，并在复杂的导航和操作任务中实现了平均 3 倍以上的成功率。

（腾讯元宝）论文初读：