Meta：探索LLM推理能力和代码生成

📖标题：What Makes Large Language Models Reason in (Multi-Turn) Code Generation?
🌐来源：arXiv, 2410.08105

🌟摘要

🔸思维链等提示技术已成为改善大型语言模型（LLM）输出的流行工具。然而，对于代码生成，它们的确切机制和功效尚未得到充分探索。
🔸因此，我们研究了各种提示策略的效果，重点是在多个回合和计算要求下自动重新提示。在系统地分解推理、指令和执行反馈提示后，我们对多个LLM家族和规模（Llama 3.0和3.1、8B、70B、405B和GPT-4o）的竞争性编程基准CodeContests和TACO进行了广泛的网格搜索。
🔸我们的研究揭示了在所有小样本和大样本预算的模型中持续提高性能的策略。然后，我们展示了如何使用这种最佳配置进行微调，使模型能够将诱导推理过程内部化，并提高多轮代码生成的性能和可扩展性。

🛎️文章简介

🔸研究问题：在多轮代码生成任务中，如何通过提示技术（包括推理提示和指令提示）来提高大语言模型（LLM）的推理能力和代码生成质量？
🔸主要贡献：论文提出了一个统一的框架ÿ