穿越文字的迷宫：探索语言模型作为世界模拟器的潜力与局限

论文：https://arxiv.org/pdf/2406.06485

代码：https://github.com/cognitiveailab/GPT-simulator

领域：世界模型

机构：亚利桑那大学等多机构

发表: ACL 2024

这篇论文的标题是《Can Language Models Serve as Text-Based World Simulators?》，作者们探讨了当前的语言模型（Language Models，简称LMs）是否能够作为文本基础的世界模拟器使用。文本基础的世界模拟器是指能够通过文本描述来正确预测动作如何改变不同世界状态的系统，从而避免大量手动编码的需求。这项研究的动机是，虽然虚拟环境在复杂规划和决策任务的基准测试中起着关键作用，但它们构建起来既昂贵又复杂。

主要贡献

1. 问题提出：作者提出了一个问题，即当前的语言模型是否能够直接作为模拟器使用。
2. 新基准测试：为了回答这个问题，作者构建并使用了一个名为BYTESIZED32-State-Prediction的新基准测试，包含文本游戏状态转换的数据集和相应的游戏任务。
3. 实验：作者使用这个基准测试来量化大型语言模型（Large Language Models，简称LLMs）作为文本基础世界模拟器的能力，并测试了GPT-4在这个数据集上的表现。

研究结果

• GPT-4尽管表现出色，但如果没有进一步的创新，它仍然是一个不可靠的世界模拟器。
• 论文还提供了当前LLMs能力和弱点的新见解。

方法论

• LLM-Sim任务：提出了一个预测任务，用于量化评估语言模型作为可靠模拟器的能力。
• 数据集：介绍了BYTESIZED32-State-Prediction数据集，包含76,369个转换，来自31个不同的文本游戏。
• 评估：通过模型的预测准确性来确定性能。

实验设计

• 全状态预测：LLM输出完整的状态。
• 状态差异预测：LLM输出输入和输出状态之间的差异。

结果分析

• GPT-4在模拟动作驱动的转换时表现更好，但在模拟需要算术、常识或科学推理的环境驱动的转换时表现不佳。
• 人类在LLM-Sim任务上的表现优于GPT-4。

结论

• 尽管LLMs在模拟用户动作的结果方面表现更好，但它们在处理环境驱动的转换和需要算术、常识或科学知识的转换方面存在困难。
• 论文指出，LLMs目前还不能作为可靠的文本世界模拟器。

限制和伦理问题

• 论文讨论了研究的局限性，包括评估的模型选择和表示形式的选择。
• 论文还提出了伦理问题，特别是关于LLMs生成误导性或非事实信息的可能性。

附录和致谢

• 论文包含了对模型的详细描述、游戏转换示例、游戏规则生成方法、提示示例以及实验结果的图表。

整体而言，这篇论文提供了对当前语言模型在文本模拟领域能力的深入分析，并提出了新的基准测试来评估未来的模型。