Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment

本文是LLM系列文章，针对《Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment》的翻译。

摘要

尽管现有的提示方法（如上下文学习和大型语言模型的思维链）取得了重大成就，但它们仍然面临着各种偏见的挑战。传统的去偏方法主要集中在模型训练阶段，包括基于数据增强和基于重加权的方法，其局限性在于解决LLM的复杂偏差。为了解决这些局限性，使用结构因果模型揭示了提示方法背后的因果关系，并提出了一种基于前门调整的新型因果提示方法，以有效减轻LLM的偏差。具体而言，因果干预是通过设计提示来实现的，而无需访问LLM的参数和logits。LLM产生的思想链被用作中介变量，输入提示和输出答案之间的因果效应通过前门调整来计算，以减轻模型偏差。此外，为了准确地获得样本的表示并更准确地估计因果效应，对比学习用于通过将编码器的空间与LLM对准来微调样本的编码器。实验结果表明，该因果提示方法在开源和闭源LLM的3个自然语言处理数据集上都取得了良好的性能。

1 引言

2 相关工作

3 前言

4 方法

5 实验

6 结论

在本文中，我们提出了因果提示，这是一种基于前门调整的提示方法，可以有效地减轻LLM对NLP任务的偏见。LLM生成的思想链被用作因果图中的中介变量。具体来说，输入提示和输出答案之间的因果效应被分解为两部分，提示和CoTs之间的因