Foundation Models in Robotics: Applications,Challenges, and the Future

本文是LLM相关的综述文章，针对《Foundation Models in Robotics: Applications,Challenges, and the Future》的翻译。
@TOC

摘要

我们调查了预训练的基础模型在机器人中的应用。机器人领域的传统深度学习模型是在为特定任务量身定制的小型数据集上进行训练的，这限制了它们在不同应用程序中的适应性。相比之下，在互联网级数据上预训练的基础模型似乎具有优越的泛化能力，并且在某些情况下显示出为训练数据中不存在的问题找到零样本解决方案的紧急能力。基础模型可能具有增强机器人自主堆栈的各个组件的潜力，从感知到决策和控制。例如，大型语言模型可以生成代码或提供常识推理，而视觉语言模型可以实现开放词汇的视觉识别。然而，重大的开放研究挑战仍然存在，特别是在机器人相关训练数据、安全保障和不确定性量化以及实时执行方面。在这项调查中，我们研究了最近使用或建立基础模型来解决机器人问题的论文。我们探讨了基础模型如何有助于提高机器人在感知、决策和控制领域的能力。我们讨论了阻碍机器人自主采用基础模型的挑战，并为未来的发展提供了机会和潜在途径。本文对应的GitHub项目可以在这里找到。

1 引言