Holistic Evaluation of Language Models

本文是LLM系列文章，针对《Holistic Evaluation of Language Models》的翻译。

摘要

语言模型（LM）正在成为几乎所有主要语言技术的基础，但它们的功能、局限性和风险并没有得到很好的理解。我们提出了语言模型的整体评价（HELM），以提高语言模型的透明度。首先，我们对LM感兴趣的潜在场景（即用例）和度量（即需求）的广阔空间进行分类。然后，我们根据覆盖率和可行性选择一个广泛的子集，注意缺失或代表性不足的部分（例如，被忽视的英语方言的问题回答、可信度指标）。其次，我们采用多指标方法：我们尽可能（87.5%的时间）为16个核心场景中的每一个测量7个指标（准确性、校准、稳健性、公平性、偏差、毒性和效率），确保超出准确性的指标不会半途而废，并确保模型和指标之间的权衡清楚地暴露出来。我们还基于26个有针对性的场景进行了7次有针对性评估，以更深入地分析特定方面（如知识、推理、记忆/版权、虚假信息）。第三，我们对所有42个场景中的30个突出语言模型（跨越开放、有限访问和封闭模型）进行了大规模评估，其中包括21个以前未在主流LM评估中使用的场景。在HELM之前，平均只有17.9%的核心HELM场景对模