本文是LLM系列,针对《New Evaluation, Library, and Analysis of Step-by-Step Reasoning with Large Language Models》的翻译。
大型语言模型逐步推理的新评估、库和分析
摘要
生成准确的逐步推理对于大型语言模型(LLM)解决复杂问题、增强鲁棒性和可解释性至关重要。尽管关于开发高级推理方法的研究层出不穷,但系统分析生成推理链中的各种LLM和推理策略仍然是一个重大挑战。困难源于缺乏两个关键要素:(1)用于评估不同任务上生成的推理链的自动方法,以及(2)用于系统比较的不同推理方法的统一形式和实现。本文旨在填补这一空白:(1)我们引入了AutoRace用于全自动推理链评估。现有的指标依赖于昂贵的人工注释或预定义的LLM提示,无法适应不同的任务。相比之下,AutoRace会自动为每个任务创建详细的评估标准,并使用GPT-4根据标准进行准确评估。(2)我们开发了LLM Reasoners,这是一个在搜索、奖励和世界模型组件的统一公式下,对现有和新的推理算法进行标准化模块化实现的库。通过新的评估和库,(3)我们对不同的推理方法(如CoT、ToT、RAP)进行了广泛的研究。该分析揭示了关于影响推理的不同因素的有趣发现,包括奖励指导、搜索的广度与深度、世界模型和提示格式等。