大模型评估中Pass@k值是如何计算的

  在前面的博客中分别介绍了大模型评估过程不同指标的含义，以及如何通过代码，实现指标的收集。如果对如何运行代码生成结果和收集pass@k指标不清楚，可以参考这两篇博客。

如何对大模型进行评估上

如何对大模型进行评估下

Pass@k的来源

  代码的生成模型主要是通过将样本与参考方案进行匹配来衡量的，其中的匹配可以是精确的，也可以是模糊的（如BLEU分数）。匹配的代码指标存在缺陷。例如，Ren等人（2020年）发现，BLEU在捕捉代码特有的语义特征方面存在问题，并建议对该分数进行若干语义修改。更为根本的是，基于匹配的指标无法解释在功能上等同于参考解决方案的庞大而复杂的程序空间。因此，在无监督代码翻译（Lachaux等人，2020年）和伪代码到代码翻译（Kulal等人，2019年）方面的工作已经转向功能正确性，如果一个样本通过了一组单元测试，就认为它是正确的。我们认为，这种衡量标准也应适用于docstringconditional代码