Measuring Implicit Bias in Explicitly Unbiased Large Language Models

最新推荐文章于 2024-10-03 14:54:57 发布

UnknownBody

最新推荐文章于 2024-10-03 14:54:57 发布

阅读量43

点赞数

分类专栏： LLM Daily 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/138769798

版权

LLM Daily 专栏收录该内容

220 篇文章 5 订阅 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文探讨了大型语言模型（LLM）中隐性偏见的测量方法，即使在通过显性偏见测试的情况下，LLM仍可能存在类似人类的刻板印象。通过引入LLM内隐联想测试（IAT）偏见和LLM决策偏差，研究发现4个社会领域和21个类别的6个LLM普遍存在隐性偏见。这些测量方法揭示了专有LLM中的微妙偏见，而这些偏见在标准基准上未显现。

摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《Measuring Implicit Bias in Explicitly Unbiased Large Language Models》的翻译。

摘要

大型语言模型（LLM）可以通过显性偏见测试，但仍然存在隐性偏见，类似于支持平等主义信仰但表现出微妙偏见的人类。测量这种隐性偏见可能是一个挑战：随着LLM变得越来越专有，可能不可能访问其嵌入并应用现有的偏见测量；此外，如果隐性偏见影响到这些系统做出的实际决策，那么它们主要是一个令人担忧的问题。我们通过引入两种受心理学启发的偏见测量方法来应对这两个挑战：LLM内隐联想测试（IAT）偏见，这是一种基于提示的揭示内隐偏见的方法；以及LLM决策偏差，用于检测决策任务中的细微差别。使用这些措施，我们发现在4个社会领域（种族、性别、宗教、健康）和21个类别（武器、内疚、科学、职业等）的6个LLM中普遍存在类似人类的刻板印象偏见。我们基于提示的内隐偏差测量与基于嵌入的方法相关，但更好地预测了LLM决策偏差测量的下游行为。这项测量是基于要求LLM在个体之间做出决定，其动机是心理结果表明相对而非绝对的评价与内隐偏见更相关。使用心理学提供的基于提示的测量方法，我们可以有效地暴露专有LLM中的细微偏见和微妙歧视，这些LLM在标准基准上没有表现出明显的偏见。