高级科普贴 | 大模型评价指标、评价机构、评价网站

最新推荐文章于 2025-12-05 11:17:30 发布

原创

最新推荐文章于 2025-12-05 11:17:30 发布 · 875 阅读

CC 4.0 BY-SA版权

文章标签：

本文是一篇高级科普贴，部分内容为AI生成。

准确率是最基础的评估指标，表示模型预测正确的样本数占总样本数的比例。计算公式为：准确率 = 正确预测数 / 总预测数。

在分类任务中，准确率直观地反映了模型的整体表现。但需要注意的是，在数据不平衡的情况下，准确率可能会产生误导。例如，如果99%的样本属于同一类别，模型只需要简单地预测所有样本为该类别就能获得99%的准确率，但实际上模型并没有学到有用的知识。

因此，在评估大模型时，通常会结合其他指标如精确率(Precision)、召回率(Recall)和F1分数来进行综合评估。

困惑度是评估语言模型最常用的指标之一，用于衡量模型对测试数据的预测不确定性。困惑度越低，说明模型对下一个词的预测越准确。

从数学角度看，困惑度是交叉熵的指数形式。如果一个模型的困惑度为100，意味着在预测下一个词时，模型的表现相当于在100个等概率的候选词中随机选择。

困惑度的优点是计算简单、数值稳定，可以直接反映模型的语言建模能力。但它也有局限性：困惑度只关注模型对训练分布的拟合程度,无法反映生成文本的质量、连贯性和实用性。

BLEU (Bilingual Evaluation Understudy) 最初是为机器翻译开发的自动评估指标，现在也广泛用于评估文本生成质量。

BLEU通过计算生成文本与参考文本之间的n-gram重叠度来评分，范围从0到1(或0到100)，分数越高表示生成质量越好。它会考虑1-gram到4-gram的匹配情况，并引入简短惩罚因子，避免模型生成过短的文本来提高分数。

BLEU的优点是计算快速、不需要人工标注。缺点是它只关注词汇匹配，无法评估语义相似性、流畅性和创造性。两个语义相同但用词不同的句子可能会得到较低的BLEU分数。

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) 主要用于评估自动文摘和文本摘要的质量。

ROUGE包含多个变体：ROUGE-N测量n-gram重叠，ROUGE-L基于最长公共子序列，ROUGE-W考虑连续匹配的权重。与BLEU不同，ROUGE更关注召回率，即参考摘要中有多少内容被模型生成的摘要覆盖。

ROUGE特别适合评估摘要任务，因为好的摘要应该包含原文的关键信息。但与BLEU类似，ROUGE也只能衡量表面的词汇重叠，无法深入评估摘要的连贯性、可读性和信息完整性。

问答准确率衡量模型在问答任务中正确回答问题的比例。根据问答类型不同，评估方式也有所区别。

对于选择题类问答，通常直接比较模型选择的选项与正确答案是否一致。对于开放式问答，可能需要使用精确匹配(Exact Match)或部分匹配(F1 Score)来评估。

在实际评估中，常用的问答数据集包括SQuAD(英文阅读理解)、CMRC(中文阅读理解)、Natural Questions等。评估时不仅要看准确率，还要关注模型是否能够处理复杂推理、多跳问答和需要常识的问题。

推理能力是大模型最重要的高级能力之一，包括逻辑推理、数学推理、常识推理等多个维度。

逻辑推理评估模型进行演绎、归纳和类比推理的能力，常用数据集如LogiQA、ReCLOR等。数学推理评估模型解决数学问题的能力，包括算术运算、代数问题、几何问题等，代表性数据集有GSM8K、MATH等。

常识推理评估模型对日常生活知识的理解和应用，如物理常识、社会常识等，相关基准包括CommonsenseQA、PIQA等。评估时通常关注模型的推理步骤是否清晰、逻辑是否严密、结论是否正确。

代码生成能力评估模型编写正确、高效、可维护代码的能力，这对于AI辅助编程应用至关重要。

主要评估指标包括：Pass@k(生成k个候选方案中至少一个通过测试的概率)、功能正确性(代码能否通过所有测试用例)、代码质量(可读性、复杂度、最佳实践的遵循)等。

常用评估数据集有HumanEval(Python编程问题)、MBPP(基础Python编程)、CodeContests(竞赛级编程问题)等。评估时不仅要看代码能否运行，还要考虑代码的效率、安全性和可扩展性。

多语言能力评估模型处理和理解不同语言的能力，这对于全球化应用非常重要。

评估维度包括：跨语言理解(能否理解不同语言的输入)、机器翻译质量、多语言生成(能否用不同语言生成高质量文本)、语言间迁移能力(在一种语言上学到的知识能否迁移到其他语言)等。

常用的多语言评估基准有XNLI(跨语言