Large Language Monkeys: Scaling Inference Compute with Repeated Sampling

《Large Language Monkeys: Scaling Inference Compute with Repeated Sampling》（大语言猴子：通过重复采样扩展推理计算）论文探讨了一种通过增加推理时的计算量来提升大语言模型（LLM）解决任务表现的方法，比如编程、数学和推理任务。

通俗解释如下：

1. **背景**：大语言模型在解决复杂任务方面已经有了很大的进步，但在**推理**（即模型训练好之后的实际使用）阶段，通常只让模型尝试一次。这限制了模型的表现。论文提出，通过增加模型为同一个问题生成的**样本数量**（即多次运行模型），可以提高模型的表现。

2. **重复采样**：核心思想是：让模型针对同一个问题多次尝试生成解答，然后通过某种验证过程（如逻辑检查或投票）从生成的多个答案中挑选出最佳答案。这样可以显著提升得到正确解答的机会。
   
   - **覆盖率**：随着采样次数的增加，我们能正确解决更多的问题。
   - **精度**：在生成的多个解答中，能否选出正确答案？

3. **结果**：研究发现，重复采样能极大地提高模型的表现。例如，使用**DeepSeek-Coder-V2-Instruct**模型，在解决一个编程任务࿰