Taxonomy-based CHECKLIST for Large Language Model Evaluation

本文是LLM系列文章，针对《Taxonomy-based CHECKLIST for Large Language Model Evaluation》的翻译。

摘要

由于大型语言模型（LLM）已被用于许多下游任务，内部的陈规定型表示可能会影响输出的公平性。在这项工作中，我们将人类知识引入自然语言干预，并在性别偏见的背景下研究预训练的语言模型的行为。受CHECKLIST行为测试的启发，我们提出了一项清单式任务，旨在通过问答（QA）来调查和量化LMs的不道德行为。我们设计了三个比较研究，从一致性、偏向性、模式偏好和性别偏好转换四个方面来评估LMs。我们研究了一个在SQuAD-v2数据集上训练的基于transformer的QA模型和一个自回归大型语言模型。我们的结果表明，基于transformer的QA模型的偏向性与其一致性呈正相关，而LLM则表现出相反的关系。我们提出的任务为LLM偏差评估提供了第一个涉及人类知识的数据集。

引言

实验

结果与分析

结论与未来工作

我们介绍了第一个涉及人类知识分类的框架，用于QA环境中的偏见评估。该框架提供了CHECKLIST设计下基于transformer的模型和LLM之间的模型行为的一般比较。通过添加人类知识分类法，我