大模型高级能力评测

    除了上述基本评测任务，本文将继续探讨几种高级能力的评测任务，包括人类对齐、环境交互以及工具使用等，并介绍评测这些能力的常用数据集。对于这些高级能力的探索能够加强模型能力的综合评估，对于大语言模型的实践应用具有重要的意义。

人类对齐

    人类对齐是指规范大语言模型的行为以契合人类的价值观与需求，这种对齐能力对于大语言模型在现实世界的广泛应用至关重要。为了有效评估大语言模型与人类对齐的能力，当前研究已采纳了多项评估标准，涵盖有用性、诚实性和无害性等方面。在评估有用性方面，通常需要评价模型根据人类需求完成特定任务的能力，例如知识问答、代码合成、文本写作等。大语言模型的诚实性可以从事实性、前后一致性等维度进行评测。其中，幻象评测是一种有代表性的诚实性评测，其用于检测语言模型生成的文本中是否存在虚假、误导性或不准确的信息，以确保生成的文本内容的真实性和准确性。典型的幻象评测数据集合包括 TruthfulQA 和 HaluEval。此外，无害性评测的核心目标是检测大语言模型所生成的文本中是否存在偏见、歧视等有害因素。面向无害性的评估可以通过 CrowS-Pairs、Winogender和 RealToxicityPrompts数据集来进行，以检测大语言模型中的偏见和有毒内容。我们已经详细地介绍了评价有用性的数据集和指标，下面将主要介绍诚实性评测和无害性评测中常用的数据集。

    TruthfulQA 数据集，TruthfulQ