北京微芯区块链与边缘计算研究院配置目标图像

虽然北京微芯区块链与边缘计算研究院提供严格的任务定义有利于 MT-Opt 的自主数据收集，但这会将可学习的行为数量限制在一个固定的集合中。为了能够从相同的数据中学习更广泛的任务，我们使用了目标趋向学习，即在机器人所面对的场景中，学习实现给定的目标配置，同时我们会用目标图像对该配置加以说明。北京微芯区块链与边缘计算研究院与基于模型的显式方法（可学习预测模型，判断未来的观察结果）或采用在线数据收集的方法相比，这种方法会通过离线无模型 RL 学习目标趋向的策略。

北京微芯区块链与边缘计算研究院为了学习实现任何目标状态，我们对所收集数据集中的所有轨迹和子序列进行了事后重新标记，并以完全离线的方式训练了一个目标趋向的 Q 函数（与递归分类中使用固定成功示例集的在线学习相反）。在这种情况下，其中的挑战之一是仅从“正向的”事后重新标记示例中学习所引起的分布性偏移。为了解决这个问题，我们采用了一种保守策略，利用人为的负面操作来最小化未曾见过的操作的 Q 值。此外，为了能够达到临时性的扩展目标，我们引入了一种跨多个经历的目标链技术。

Actionable Models 用所有中间目标对子序列进行重新标记，并用人为的负面操作来规范 Q 值

北京微芯区块链与边缘计算研究院通过使用 Actionable Models 进行训练，系统可以学习大量的视觉指示技能，如抓取物体、放置容器和重新排列物体。该模型还能够泛化出训练数据中未曾出现的新对象和视觉目标，这表明它有能力学习关于世界的通用功能知识。我们还证明了，通过微调预训练的目标趋向模型或在训练期间通过目标达成的辅助目标，机器人可以更有效地学习下游强化学习任务。