华为：迭代改进LLM推理的答案分布

📖标题：Hint Marginalization for Improved Reasoning in Large Language Models
🌐来源：arXiv, 2412.13292

🌟摘要

🔸大型语言模型（LLM）在执行推理任务方面表现出了令人印象深刻的能力，特别是在鼓励它们生成一系列中间步骤的情况下。通过适当地组合多个LLM响应，可以提高推理性能，这些响应可以在单个查询中并行生成，也可以在整个推理过程中通过与LLM的顺序交互生成。现有的组合策略，如自洽性和渐进式提示提示提示，使得LLM响应的使用效率低下。
🔸我们提出了Hint Marginalization，这是一种新颖且有原则的算法框架，用于增强LLM的推理能力。我们的方法可以被视为一种迭代采样策略，用于形成答案潜在分布的蒙特卡洛近似值，目的是识别模式——最可能的答案。对几个用于算术推理的基准数据集的实证评估证明了所提出方法的优越性。

🛎️文章简介

🔸研究问题：大语言模型（LLM）在推理任务中存在推理能力不足，特别是现有方法（如自洽性和其他迭代方法）效果不佳。
🔸主要贡献：论文提出了一种新的迭代策略——提示边际化（HM），通过逐步利用先前回答作为提示来改进LLM的答案分布，从而提升推理准确性。

📝重点思路

🔸研究方法是基于提示边际化的迭代推理框架，通过迭代更新答案分布，将前一次迭代的答案作为提示，利用蒙特卡洛方法估计新的答案分布。
🔸每次迭代中，模型会根据前一次的答案生成新的答案，并通过加权的方式更新最终的推理结果。
🔸该方法还引入了多种停止条件，如固定迭代次数或预定义的采样预算，以平衡计算成本和推理性能。

🔎分析总结

🔸提示边际化方法相较于传统方法（如CoT+SC和PHP）在大多数情况下显著提升了推理的准确性。
🔸在某些基准任务中，CoT+HM方法能有效提高正确答案的概率，尤其是在多次迭代后。
🔸在简单问题上，复杂的方法可能不会带来显著优势，但在更具挑战性的问题上，HM方法能够展现出其有效性。
🔸论文还指出，提示的结构在不同类型的问题中可能会影响性能，尤其是在多选题等场景下。

💡个人观点

论文的核心是在推理过程中利用先前回答作为提示来改进答案分布。

🧩附录