Measuring Implicit Bias in Explicitly Unbiased Large Language Models

本文是LLM系列文章，针对《Measuring Implicit Bias in Explicitly Unbiased Large Language Models》的翻译。

摘要

大型语言模型（LLM）可以通过显性偏见测试，但仍然存在隐性偏见，类似于支持平等主义信仰但表现出微妙偏见的人类。测量这种隐性偏见可能是一个挑战：随着LLM变得越来越专有，可能不可能访问其嵌入并应用现有的偏见测量；此外，如果隐性偏见影响到这些系统做出的实际决策，那么它们主要是一个令人担忧的问题。我们通过引入两种受心理学启发的偏见测量方法来应对这两个挑战：LLM内隐联想测试（IAT）偏见，这是一种基于提示的揭示内隐偏见的方法；以及LLM决策偏差，用于检测决策任务中的细微差别。使用这些措施，我们发现在4个社会领域（种族、性别、宗教、健康）和21个类别（武器、内疚、科学、职业等）的6个LLM中普遍存在类似人类的刻板印象偏见。我们基于提示的内隐偏差测量与基于嵌入的方法相关，但更好地预测了LLM决