评估生成式模型的方法pass@k

（1）EM

EM（Exact Match）是指生成的代码与真实代码具有相同的token序列的百分比。

（2）BLUE

机器翻译结果越接近专业人工翻译的结果，则越好。BLEU实际上就是在判断两个句子的相似程度，相似度越高得分越高。

（3）CodeBLEU

CodeBLEU是 BLEU变体。在BLEU在n-gram匹配上的基础上，进一步通过抽象语法树（AST）融入代码语法，通过数据流融入代码语义。

（4）pass@k

Kulal 等人[SPoC: Search-based Pseudocode to Code]，2019 年提出pass@k指标评估功能正确性，其中每个问题生成 k 个代码样本，如果任何样本通过单元测试，则认为问题已解决报告总分数。
但是一次实验随机性太大，需要多次实验求平均值。 pass@k需要对每一个测试问题重复实验 t 次，并且每次都生成 k 个代码，最后计算平均通过率。假如重复实验 100 次来估计 pass@100，就需要生成 100*100=10000 个代码，这样的计算量是难以接受的。而 t 越小，估计的 pass@k 就越不准（方差越大）。

Mark Chen等人[Evaluating Large Language Models Trained on Code]，2021年改进pass@k指标：
$$pass@k:=E_{Problems}\left[1-\frac{\left(\genfrac{}{}{0ex}{}{n-c}{k}\right)}{\left(\genfrac{}{}{0ex}{}{n}{k}\right)}\right]$$
让模型为每个问题生成 n（n>k）份代码，再从中随机选择 k 份代码，k 份代码中至少有一份代码通过单元测试即通过测试，c 代表能通过单元测试的总数。