本文是LLM系列文章,针对《Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment》的翻译。
摘要
尽管现有的提示方法(如上下文学习和大型语言模型的思维链)取得了重大成就,但它们仍然面临着各种偏见的挑战。传统的去偏方法主要集中在模型训练阶段,包括基于数据增强和基于重加权的方法,其局限性在于解决LLM的复杂偏差。为了解决这些局限性,使用结构因果模型揭示了提示方法背后的因果关系,并提出了一种基于前门调整的新型因果提示方法,以有效减轻LLM的偏差。具体而言,因果干预是通过设计提示来实现的,而无需访问LLM的参数和logits。LLM产生的思想链被用作中介变量,输入提示和输出答案之间的因果效应通过前门调整来计算,以减轻模型偏差。此外,为了准确地获得样本的表示并更准确地估计因果效应,对比学习用于通过将编码器的空间与LLM对准来微调样本的编码器。实验结果表明,该因果提示方法在开源和闭源LLM的3个自然语言处理数据集上都取得了良好的性能。