Auditing Large Language Models for Enhanced Text-Based Stereotype Detection and Probing-Based

本文是LLM系列文章，针对《Auditing Large Language Models for Enhanced Text-Based Stereotype Detection and Probing-Based Bias Evaluation》的翻译。

摘要

大型语言模型（LLM）的最新进展显著增加了它们在面向人类的人工智能（AI）应用中的存在。然而，LLM可能会复制甚至加剧训练数据中的刻板印象。这项工作引入了多谷物刻板印象（MGS）数据集，包括51867个性别、种族、职业、宗教和刻板印象文本的实例，这些实例是通过融合多个以前公开的刻板印象检测数据集收集的。我们探索了不同的机器学习方法，旨在建立刻板印象检测的基线，并微调了几种不同架构和模型大小的语言模型，在这项工作中提出了一系列在MGS上训练的英语文本刻板印象分类器模型。为了了解我们的刻板印象检测器是否捕捉到了相关特征（与人类常识一致），我们利用了各种可解释的人工智能工具，包括SHAP、LIME和BertViz，并分析了一系列讨论结果的示例案例。最后，我们开发了一系列刻板印象启发提示，并使用我们之前提出的表现最好的刻板印象检测器之一，使用流行的LLM评估文本生成任务中刻板印象的存在。我们的实验得出了几个关键发现：i）在多维环境中训练刻板印象检测器比训练多个一维分类器产生更好的结果。ii࿰