LARGE LANGUAGE MODEL AS AUTONOMOUS DECISION MAKER

本文是LLM系列文章，针对《LARGE LANGUAGE MODEL AS AUTONOMOUS DECISION MAKER》的翻译。

摘要

尽管大型语言模型（LLM）表现出令人印象深刻的语言理解和上下文学习能力，但在解决现实世界任务时，它们的决策能力仍然严重依赖于特定任务专家知识的指导。为了释放LLM作为自主决策者的潜力，本文提出了一种JUDEC赋予LLM自我判断能力的方法，使LLM能够实现自主判断和决策探索。具体来说，在JUDEC中，基于Elo的自我判断机制被设计为将Elo分数分配给决策步骤，通过两个解决方案之间的成对比较来判断其价值和效用，然后相应地引导决策搜索过程走向最优解决方案。ToolBench数据集的实验结果表明，JUDEC优于基线，在不同任务上的通过率提高了10%以上。它提供更高质量的解决方案并降低成本（ChatGPT API调用），突出了其有效性和效率。

1 引言

2 前言

3 任务形式化

4 方法

5 实验

6 相关工作

7 结论