HAPFI：让机器人学会“吸取教训” ️

—— 基于历史信息融合的具身指令跟随新方法

引言：让机器人理解复杂指令

近年来，人工智能技术的飞速发展让人们对机器人的期望越来越高，我们希望机器人不仅能够在简单的环境中执行指令，更能够像人类一样理解和执行复杂的、需要多步骤完成的任务。例如，当你对机器人说“请把洗好的生菜放在白色桌子的叉子旁边”时，它能够理解你的意思，并按步骤完成清洗、放置等动作。

然而，现有的机器人技术在理解和执行这类复杂指令方面还存在很大挑战。传统的机器人系统通常只能理解简单的、预先定义好的指令，而对于需要根据环境变化进行动态调整的任务，则显得力不从心。

为了解决这个问题，研究人员提出了“具身指令跟随”（Embodied Instruction Following，EIF）的概念。EIF的目标是让机器人能够像人类一样，通过观察环境、理解自然语言指令，并自主地规划行动步骤，最终完成复杂的任务。

现有方法的局限性：缺乏对历史信息的有效利用

现有的EIF方法主要存在两大局限性：

1. 对多模态信息的利用不足：

现有的EIF方法大多只关注自然语言指令本身，而忽略了其他模态信息，例如图像、声音等。然而，在实际应用中，机器人需要综合利用多种模态信息才能更好地理解环境和指令。例如，在执行“把洗好的生菜放在白色桌子的叉子旁边”这条指令时，机器人不仅需要理解语言指令，还需要识别出生菜、桌子、叉子等物体，并判断它们之间的空间关系。

2. 对历史信息的利用不足：

现有的EIF方法大多只关注