清华：将多尺度洞察融入LLM的agent

📖标题：MSI-Agent: Incorporating Multi-Scale Insight into Embodied Agents for Superior Planning and Decision-Making
🌐来源：arXiv, 2409.16686

摘要

🔸长期记忆对代理（Agent）来说很重要，其中洞察力起着至关重要的作用。然而，无关洞察力的出现和普遍洞察力的缺乏会极大地破坏洞察力的有效性。
🔸为了解决这个问题，本文引入了多尺度洞察代理（MSI Agent），这是一种具身代理代理，旨在通过在不同尺度上有效地总结和利用洞察来提高LLM的规划和决策能力。MSI通过体验选择器、洞察生成器和洞察选择器来实现这一点。利用三部分管道，MSI可以生成特定于任务的高级洞察，将其存储在数据库中，然后使用其中的相关洞察来帮助决策。
🔸我们的实验表明，当使用GPT3.5进行规划时，MSI的表现优于另一种洞察策略。此外，我们深入研究了选择种子经验和洞察力的策略，旨在为LLM提供更有用和相关的洞察力，以更好地做出决策。我们的观察还表明，MSI在面对域转移场景时表现出更好的鲁棒性。

🛎️文章简介

🔸研究问题：如何有效地总结和利用多尺度洞察（insights），以增强具身代理（embodied agents）的规划和决策能力？
🔸主要贡献：论文提出了提出了一种名为MSI-Agent的框架，通过多尺度洞察选择和生成，增强了代理在复杂环境中的任务执行和决策能力。

📝重点思路

🔺相关工作

🔸具身智能：与传统的强化学习方法不同，当前研究采用语言模型作为行动决策。具体来说，通过模态转换器将信息从非自然语言模态转换为自然语言，作为输入来 指导大语言模型的决策。
🔸LLM长期记忆：由于输入长度有限，LLM的Agent无法接收无限的历史经验。目前有两种模式，①示例记忆，手动制作在任务中成功的经验示例 ②察力记忆，通过LLM将成功或失败的经验总结为洞察力形成见解。

🔺洞察总结

🔸经验收集：利用历史任务数据（训练集），通过任务执行模块收集足够数量的经验。
🔸经验选择：经验选择器识别适合生成洞察的经验/经验对。
🔸多尺度洞察生成：基于组织的经验生成多尺度洞察，并存储在洞察数据库中。

🔺洞察利用

🔸洞察检索：当新任务出现时，根据预定义规则从数据库中检索相关洞察。
🔸任务执行：将不同尺度的洞察提供给任务执行模块以完成任务。

🔎分析总结

🔸基准表现：MSI-Agent在基准上表现优于其他洞察方法。
🔸经验选择：在面对不同的洞察生成策略和任务时，选择“成功-失败”经验对比仅使用“成功”经验更有效。
🔸洞察选择：使用多尺度洞察比仅使用一般洞察更能提升LLM的规划能力，但在处理OOD问题时，一般洞察的表现优于多尺度洞察。
🔸系统鲁棒性：MSI系统在面对领域转移时表现出更好的鲁棒性，性能下降幅度更小。

💡个人观点

论文的核心是从大量历史经验中总结洞察，类似于以往的生成指引（guideline）和宪法（constitution）。

附录