本文是LLM系列文章,针对《Character is Destiny: Can Large Language Models Simulate Persona-Driven Decisions in Role-Playing?》的翻译。
摘要
大型语言模型(LLMs)能否在做出重要决策时替代人类?最近的研究揭示了LLM在角色扮演中扮演指定角色的潜力,模仿他们的知识和语言习惯。然而,模仿决策需要对人物角色有更细致的理解。本文对LLMs在角色驱动决策中的能力进行了基准测试。具体而言,我们研究了LLM是否可以预测高质量小说中人物在前面故事中的决策。利用文学专家撰写的字符分析,我们构建了一个数据集LIFECHOICE,其中包括395本书中的1401个字符决策点。然后,我们对LIFECHOICE进行了全面的实验,使用了各种LLM和LLM角色扮演方法。结果表明,最先进的LLM在这项任务中表现出有前景的能力,但仍有很大的改进空间。因此,我们进一步提出了CHARMAP方法,该方法通过基于角色的记忆检索实现了6.01%的准确率提高。我们将公开我们的数据集和代码。
1 引言
2 相关工作
3 数据集和任务设置
4 实验
5 分析
6 结论
在这项工作中,我们提出了NEXTDECISIONPREDICTION,这是评估LLM个人驱动决策的第一个任务,测试LLM是否可以通过历史人物数据重建实际的故事情节。我们构建了一个数据集LIFECHOICE,包括来自396本书的1401个字符及其重