＜论文＞用于大语言模型去偏的因果奖励机制

一、摘要

        本文介绍由Meta和芝加哥大学合作发表的代码开源论文《Beyond Reward Hacking: Causal Rewards for Large Language Model Alignment》，论文引入了一种将因果正则化纳入训练过程的奖励建模因果框架，使模型能够从虚假关系中学习 “真实” 因果关系，从而让模型生成结果更可靠地与人类偏好对齐。

译文：

        大型语言模型（LLMs）的最新进展在执行复杂任务方面取得了显著进步。虽然人类反馈强化学习（RLHF）在使 LLMs 与人类偏好对齐方面是有效的，但它容易受到奖励建模中的虚假相关性的影响。因此，它经常引入偏差，如长度偏差、谄媚、概念偏差和歧视，这些偏差阻碍了模型捕捉真实因果关系的能力。为了解决这个问题，我们提出了一种新颖的因果奖励建模方法，它整合了因果推理来减轻这些虚假相关性。我们的方法强制实施反事实不变性，确保在不相关变量改变时奖励预测保持一致。通过在合成数据集和真实数据集上的实验，我们表明我们的方法有效地减轻了各种类型的虚假相关性，从而使 LLMs 与人类偏好的对齐更加可靠和公平。作为对现有 RLHF 工作流程的即插即用增强，我们的因果奖励建模为提