本文是LLM系列文章,针对《K-Level Reasoning with Large Language Models》的翻译。
基于大型语言模型的K级推理
摘要
虽然大型语言模型(LLM)已经证明了它们在复杂推理任务中的熟练程度,但它们在动态、交互式和竞争场景中的性能——如商业战略和股市分析——仍然没有得到充分的探索。为了弥补这一差距,我们正式探索了LLM在快速发展的环境中用于决策的动态推理能力。我们介绍了两个基于博弈论的试点挑战,反映了现实世界动态决策的复杂性。这些挑战是明确定义的,能够对LLM的动态推理能力进行清晰、可控和精确的评估。通过广泛的实验,我们发现现有的推理方法在需要k级思维的动态环境中往往会出现问题——这是以前工作中没有解决的关键概念。为了解决这一问题,我们提出了一种新的LLM推理方法,称为“K-Level推理”。这种方法采用了竞争对手的视角,基于可用的历史信息递归地使用k级思维,显著提高了竞争对手后续行动的预测准确性,并为更多的战略决策提供了信息。这项研究不仅为动态推理的评估设定了一个强有力的定量基准,而且显著提高了LLM在动态环境中的熟练程度。