Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback翻译

摘要

基于人类反馈的强化学习（RLHF）是一种训练AI系统以和人类目标对齐的技术。RLHF已成为微调SOTA大语言模型（LLM）的核心方法。尽管有这种方法很受欢迎，但缺少系统性研究其缺陷的工作。在本文中，我们（1）调查了RLHF和相关方法的一些现有问题和基本局限性；（2）在实践中理解，改进和补充RLHF技术；（3）提出审计和披露标准，以提高对RLHF系统的社会监督。我们的工作强调了RLHF的局限性，并强调了多样化方法对开发更安全的AI系统的重要性。

1.介绍

　　基于人类反馈的强化学习（RLHF）已成为一种重要的技术，可以将机器学习模型调整到难以定义的目标。特别是，RLHF是训练SOTA语言模型（LLM）的关键组成部分，例如OpenAI的GPT-4，Anthropic的Claude，Google的Bard和Meta的Llama 2-Chat。RLHF和类似的方法允许LLM建模其训练数据外的分布，并调整文本的分布，从而使模型输出受到人类评估者的高度评价。
　　我们将结合了三个中间过程的方法称为RLHF：反馈收集，奖赏建模和策略优化。图1（top）说明了此设置。反馈过程通过人类显示评估了模型的输出。奖赏建模过程使用有监督学习来训练一个模仿这些评估的奖赏模型。策略优化过程则优化了AI系统，以产生可以从奖赏模型中获得更好评估的输出。与使用演示，手动设计奖赏函数或其他指定或学习奖赏的方法相比，RLHF能相对容易的识别较好行为，因此工作的更好。
　　RLHF源于经济学的偏好理论。揭示的偏好理论形式化了这样一种观念，即人们可以从actor的行为中学习了解到其目标。它最早是由机器学习领域采用，用于人机交互和强化学习。Christiano et al. [2017],在2017年普及了今天使用的RLHF的标准方法，它在将深度强化学习研究的注意力引向基于反馈的方法方面发挥了关键作用。
　　RLHF已成为部署LLM前对其进行微调的主要策略，其目的是获得与人类目标保持对齐的安全模型。尽管如此，用RLHF进行了微调的部署模型有时会生成敏感的私人信息，幻觉的不真实内容，支持特定政治意识形态的传播偏差，并表现出未被期望的偏好（例如，不想被关闭）。RLHF还没有使模型足够鲁棒，以能够对抗来自越狱（即，打破该系统常规运行的限制）或提示注入/提取的攻击。
　　RLHF的许多缺点在研究和产品团队中都知道，但是几乎没有公开工作可以系统性的形式化RLHF的问题。在本文中，我们调查了RLHF的挑战，以促进行业从业者的常识，并确定开放的问题以进行进一步研究。我们主要关注对LLM的应用。我们做出三个贡献：

1. Concrete challenges with RLHF：在第3节中，我们分类和调查与RLHF相关的问题。我们将它们分为三个主要类别：人类反馈的挑战，奖赏模型的挑战以及策略优化的挑战。我们还区分了RLHF的挑战，这些挑战更容易解决，可以在RLHF框架内使用改进的方法与RLHF的基本限制来解决，这必须通过替代的对齐方式来解决。
2. Incorporating RLHF into a broader technical safety framework：在第4节中，我们讨论了RLHF为什么不是开发安全AI的完整框架，并强调了可以帮助更好地理解，改进和补充的其他方法。我们强调了多样化策略课以减少失败的重要性。
3. Governance and transparency：在第5节中，我们考虑了使用RLHF训练的模型改善行业规范和法规影响中的挑战。具体来说，我们讨论了使用RLHF训练AI系统的公司对某些细节的披露如何改善问责制和审计。

2.Background and Notation

　　RLHF涉及三个关键步骤：人类反馈收集，拟合奖赏模型，使用RL优化策略。在实践中，通过重复这些步骤（或同步执行），可以迭代地进行RLHF。总体过程如图1（top）所示，以及一个特定的示例，其中使用了二分类偏好反馈的RLHF来微调一个LLM，如图2所示。在这里，我们提出了一个部分基于RLHF的简单正式框架，主要来自Christiano et al. [2017]。但是，正如第3节和附录A所讨论的那样，该框架无法反映现实的几种方式。
　　Step 0, (Optional) Pretraining。RLHF从具有参数$\theta$的初始基本模型${\pi }_{\theta }$开始，该模型生成样例的分布。例如，在使用LLM执行RLHF时，base模型通常是在忘了文本和/或其他精细设计的数据集中预训练的语言生成器。
　　Step 1, Collecting human feedback。第一步是从base模型中获取样例，并就这些样例收集人类反馈。考虑一个人类$\mathcal{H}$，其与一些奖赏函数$r_{\mathcal{H}}$具有一致的偏好。 从${\pi }_{\theta }$采样了一个样例数据集，其中每个样例$x_i$被定义为从base模型中生成的一个或多个batch。令反馈函数$f$将示例$x_i$和随机噪声${ϵ}_i$映射到反馈$y_i$。因此，数据收集过程通常被建模为：
$$x_i\sim {\pi }_{\theta },y_i=f(\mathcal{H},x_i,{ϵ}_i).\text{\hspace{1em}(1)}$$
例如，LLM chatbots上的RLHF有时会在由对话对和反馈（$y_i$）组成的任务（$x_i$）上执行。我们在第3.1节中调查获得人类反馈的挑战。另请参见附录A，以了解改进反馈过程的框架，该过程纠正了原始框架中错误指定的一些内容。
　　Step 2, Fitting the reward model。RLHF的第二步是使用提供的反馈拟合奖赏模型${\hat{r}}_{\varphi }$，以尽可能近似来自$\mathcal{H}$的评估。给定一个样例和偏好数据集$\mathcal{D}=\{(x_i,y_i{)}_{i=1,...,n}\}$，参数$\varphi$被训练以最小化：
$$\mathcal{L}(\mathcal{D},\varphi )=\sum _{i=1}^{n}l({\hat{r}}_{\varphi }(x_i),y_i)+{\lambda }_r(\varphi )\text{\hspace{1em}(2)}$$
其中$l$是一个适当的损失函数，${\lambda }_r$是正则化器。例如，如果反馈是成对比较的，则交叉熵损失或贝叶斯个性化排名损失都是合适的。我们在第3.2节中调查了奖赏建模的挑战。
　　Step 3, Optimizing the Policy with RL。RLHF的第三步也是最后一步是使用奖赏模型${\hat{r}}_{\varphi }$通过强化学习来微调base模型。$\pi$的新参数${\theta }_{new}$被训练以最大化：
$$\mathcal{R}({\pi }_{new})={\mathbb{E}}_{x\sim {\pi }_{{\theta }_{new}}}[{\hat{r}}_{\varphi }(x)+{\lambda }_p(\theta ,{\theta }_{new},x)],\text{\hspace{1em}(3)}$$
其中${\lambda }_p$是一个正则化器，例如两个分布间基于散度的惩罚。我们在3.3节调查了策略优化的挑战。
　　Advantages of RLHF。RLHF使人类能够在不指定奖赏函数的情况下传达目标。因此，相对于手工指定的代理，它可以减轻的奖赏黑客攻击，并使奖赏设计更加自然和隐式。它还利用人类的判断，这比样范更容易被提供。这些优势使RLHF有助于帮助策略在控制环境中学习复杂的解决方案，并微调LLM。

3.Open Problems and Limitations of RLHF

图1（bottom）阐述了我们在本节中所涵盖的挑战和问题的类别。我们首先将挑战分为与RLHF三个步骤相对应的三种主要类型：收集人类反馈（第3.1节），训练奖赏模型（第3.2节）和训练策略（第3.3节）。 然后，我们通过共同学习奖赏模型和策略决策模型来讨论挑战（第3.4节）。此外，我们对RLHF的挑战进行了区分，其中一个挑战相对易于处理，并且可以使用改进的方法与RLHF框架合理地解决，另外一个则是使用RLHF进行对齐的基本限制。两者之间的关键区别在于，基本挑战足够困难，以至于克服它们将需要不只一种RLHF方法。因此，基本挑战要么避免使用RLHF或者通过其他安全度量来补充。我们注意到，RLHF面临的许多问题并不是什么新挑战，并代表了ML中广泛存在的挑战，这一点我们在第6节中进行了进一步讨论。

3.1 Challenges with Obtaining Human Feedback

从人类那里获得高质量的反馈是困难的，并且基于人类反馈进行建模的方式是次优的。挑战可能来自标注不一致的评估者，监督的难度，数据质量以及所使用的反馈形式。

3.1.1 Misaligned Humans: Evaluators may Pursue the Wrong Goals

人类会有意或无意地构建有害目标。
　　Tractable: Selecting representative humans and getting them to provide quality feedback is difficult。大规模RLHF数据收集需要选择并指导人类评估者。但是，这会导致偏差。最近的工作发现，在RLHF之后，ChatGPT模型在政治上变得更加具有偏差。这种偏差的确切原因尚不清楚。但是，OpenAI数据收集过程描述了选择与研究人员判断一致的人类评估者，这表明在偏好数据收集过程中有明显的选择影响。此外，每个平台的人口统计学都与一般人群不同：OpenAI报告了与大约50％的菲律宾和孟加拉国人民合作，这些人50％大约是25-34岁，而Anthropic的报告则说，从最初的82%的白人个体评估者中雇用了68％的人（尽管沿着性别等其他维度，评估者似乎可以更好地近似人口统计数据）。 这些评估者人口统计会导致难以预测的隐式偏差，然后在模型训练过程中被放大。选择人类标注者的说明提供了第二层任意选择，迄今为止，尚未有公开研究表面这种说明框架或选择方案的影响。
　　Tractable: Some evaluators have harmful biases and opinions。人类并不总是具有理想和道德观点。经过RL训练的语言模型会加剧评估者的这些偏差。这被称为sycophancy，并且可能会随着模型尺寸的增加而恶化。尽管此问题在预训练的语言模型中也存在，但RLHF无法作为解决方案，反而在某些情况下会放大这种偏差。但是，在偏差影响中，RLHF在其中的占比尚不清楚。
　　Tractable: Individual human evaluators can poison data。在大规模强化学习中，由于需要许多评估者，所以一些评估者可能受到威胁或被攻击的可能性是一个问题。RLHF中的数据收集通常是通过与人类交互来生成的（这一事实未在公式（1）中建模）。如果评估者试图攻击模型，这可能是危险的。例如，最近的工作试图创建无害和有益的语言模型助手，并令评估人员可以自由与模型进行开放式对话，而不限制可以讨论的内容。这使恶意标注者可以注入有害的例子。例如，每次一个触发短语出现时，标注者都可能选择有害行为，从而实现不希望的行为。目前尚不清楚这些攻击的可行性，需要进一步的工作才能更好地理解它们。但是，类似的攻击对于使用较少示例进行指令微调是成功的，而在现实的假设下，网络规模的数据集中存在有害数据是可能的。

3.1.2 Good Oversight is Difficult

“Scalable oversight”是指在给定有限资源和带宽的情况下有效监督模型的能力。这是一个开放的问题，具有人类本身缺陷导致的困难，以及监督先进AI系统的困难。在这些情况下，人类反馈通常会以未知的方式出现偏差，从而使模型具有挑战性。另请查看Bowman et al. [2022]以深入了解Scalable oversight。
　　Tractable: Humans make simple mistakes due to limited time, attention, or care。有时候人们会因为对任务缺乏兴趣、注意力衰退、时间限制或人类偏见等因素而犯错。这可能会加剧对模型输出进行评估时所需的认知和情绪上的压力。由于评估者通常基于样例数目获取报酬，他们有可能会投机取巧。评估者之间的错误可能是相关的。例如，在选择满足某种约束条件的文本目标时，标注者可能更偏好选择回避问题或缺乏实证的例子。此外，认知偏见、常见误解和错误记忆可能会影响标签质量。越来越普遍的是，人类知识工作者将工作外包给聊天机器人，这使得人类进行监督的出发点受到破坏。
　　Tractable: Partial observability limits human evaluators。如果向人类展示的样例没有包含关于世界状态的全部信息，那么人类无法提供信息丰富的反馈。在这种情况下，使用人类标签来拟合奖赏模型会有问题，因为一个样例的可取性不能被表示为人类所展示的内容的函数。例如，Krakovna et al. [2020]使用二维渲染的RLHF方法训练一个机器人手在三维环境中抓取物体，但发现它学会了将手移动到人类视线的目标中而不是向物体方向移动，因为标注者无法区分二者之间的差异。这说明了RL agent学会了利用人类监督的局限性。即使对人类来说完整信息是可用的，时间、注意力或关注度的限制也会导致有效的局部可观察性。
　　Fundamental: Humans cannot evaluate performance on difficult tasks well。即使在拥有完整信息和充裕时间的情况下，人类在难以评估的示例上仍可能提供较差的反馈。当将RLHF应用于超级人工智能模型时，这一点尤为明显，因为人类评估超级人工智能系统的次优方法很难被建模。Saunders et al. [2022] 发现，在对训练用于总结段落的模型进行评估时，人类评估者缺失了超过一半的关键错误，并且在模型生成的摘要中包含了相当多的不准确点，尽管在找出这些错误方面他们拥有无限的时间。与此同时，Perry et al. [2022] 发现，人类无法察觉到由LLM代码助手引入的安全漏洞。即使评估模型输出所需的信息原则上对于评估者来说是可得到的（只要他们进行大量的研究和努力），但这在实践中可能并不可行。Bowman et al. [2022]提出了一些任务，在这些任务上，非专家人类很难准确评估问题的答案，并且他们认为仅凭人类反馈将无法为超级人工智能系统提供可扩展的监督。
　　Fundamental: Humans can be misled, so their evaluations can be gamed。由于奖赏模型是通过人类的认可而不是真实人类的期望得分进行训练的，模型可以利用好的输出与被积极评估的输出之间的差异。语言模型可以模仿人类的话术和操纵策略。具体而言，通过RLHF训练的语言模型，即使是在错误的情况下也可以听起来很有信心，这可能会导致人们提供更积极的反馈。这种误导的激励机制也与对操纵的广泛担忧相关。除了听起来自信外，RLHF还可能导致阿谀奉承或“控制人们思想”的行为。当人类被欺骗误以为提供了积极的反馈时，RLHF将积极激励误导行为。

3.1.3 Data Quality

获取有代表性以及有帮助的数据是一个开放的技术问题。
　　Tractable: Data collection can introduce biases。收集反馈数据需要采样对获取有关信息有用的示例。理想情况下，这应该使用类似于部署分布的分布来完成，但奖赏模型难以增加示例的表示。 但是，在使用LLM的实践中，用户通常要么通过与模型进行对话来交互，要么在没有模型的情况下离线生成对话，而这些对话不能保证与任何特定的分布匹配。
　　Fundamental: There is an inherent cost/quality tradeoff when collecting human feedback。

3.1.4 Limitations of Feedback Types

Fundamental: RLHF suffers from an unavoidable tradeoff between the richness and efficiency of feedback。下面，我们基于在实际中最常使用的反馈形式进行相关挑战的讨论。
　　Comparison-based feedback。与RLHF一起使用的最常见的反馈类型是示例对之间的二分类偏好，尽管k-wise排名或best-of-k查询也可以使用。但是，这些方法没有提供有关偏好强度的准确信息。当示例的选择取决于噪声或未建模的，没有包含在观测中的上下文细节时，学习的偏好序列可能无法覆盖到真实的序列（例如，人类反馈的随机性或评估者之间的差异）。基于比较的反馈将导致策略具有高中位数的性能而非高平均的性能。考虑一个简单的例子，对于某个评估者来说，A类型的动作（即模型A的输出）始终被认为价值为1，而对于B类型的动作（即模型B的输出），在40%的示例中被认为价值为10，但在60%的示例中被忽视并被认为价值为0。偏好将表明A优于B，即使B的期望奖赏更大。另请参见第3.2.1节，其中介绍了涉及未包含在示例$x_i$中的重要信息的相关挑战。
　　Scalar feedback。获得标量反馈解决了一些基于比较的反馈的问题，其表达能力更强。但是，来自人类的标量奖赏可能是未被校准的。对于人类标注者来说，通常不清楚如何量化一个样例的成功，并且这比简单地对示例进行比较需要更高的认知努力。标量反馈更容易导致标注者之间的不一致，并且由于示例的顺序而受到偏见。Wilde et al. [2022]证明了使用比较和标量反馈的组合，其中标注者使用slider bar来表示偏好强度，但它需要更复杂和特定于标注员的人类相应模型。试图使用Likert量表来离散化这种反馈形式（这是一系列离散评级；例如，very bad, bad, ok, good, very good），这简化了反馈收集的过程。 但是，当违反了实践中通常做出的假设时，由此获得的学习偏好排名可能与真实的排名相反。
　　Label feedback。有时，人类可以以对示例进行分类的形式提供反馈。标签选择可以不需要耗费太多精力的，但是当给定选项不完全包含正确描述数据所需的标签时，通常会遭受选择集的错误指定。如果人类在选择反馈时考虑了其他未指定的选项，则学习者可能无法对真实的选择集进行建模并错误地解释反馈。
　　Correction feedback。反馈可以通过对演示进行校正或调整的形式出现，以改进模型的示例。然后可以训练奖赏模型，以偏好校正的示例而不是原始示例。在机器人技术中，基于校正的反馈已用于改善策略和计划。但是，校正需要相对较高的精力，并取决于评估者的技能水平。
　　Language feedback。使用语言，人类可以在每次评估时传达大量信息，以减少歧义和目标错误。在奖赏模型中捕获语言反馈是一个具有挑战性的反学习问题，在人类言语及其使用中的跨文化差异中，这是非常复杂的。使用语言反馈进行奖赏推理和塑造的一系列工作可能会减少这一挑战，但到目前为止，这些技术尚未应用于LLM。另请参阅第4.2节，以查看使用人类语言反馈进行训练LLM策略的讨论，而无需使用奖赏模型（这将它们排除在我们对RLHF的定义之外）。

3.2 Challenges with the Reward Model

在这里，我们讨论了misspecification，misgeneralization，reward hacking和评估奖赏模型所带来的挑战。其中每个挑战都涉及到这种情况，即使是从高质量的人类反馈中，也很难训练良好的奖赏模型${\hat{r}}_{\varphi }$。

3.2.1 Problem Misspecification

拟合表示人类价值的奖赏模型的标准方法是一个doubly-misspecified的问题。
　　Fundamental: An individual human’s values are difficult to represent with a reward function。与等式（1）中的模型不同，人类反馈可以取决于样例$x_{i=1,...,n}$中的上下文因素，而这些因素无法在训练奖赏模型${\hat{r}}_{\varphi }$时被考虑。人类拥有一系列复杂和上下文依赖性的偏好，这些偏好会随着时间的流逝而发展，并且很难准确建模。基于对人类决策具有错误假设的人类目标模型可能会损害奖赏推理。即使使用奖赏对人类偏好进行建模，以隐式方式接受假设，也可能是不合理的。许多研究已经检查了人类模型各个方面的错误假设，例如遗憾的使用，奖赏模型的假设空间和教学行为。Skalse and Abate [2022a] 正式研究了使用错误设定的Boltzmann模型的逆强化学习的效果，这也是常见情况。RLHF中的大多数工作都不考虑人类偏好的个性化和上下文依赖性，而Zhao et al. [2016] 证明，如果没有其他上下文，就无法从二分类偏好中确定混合奖赏函数。为了更好学习，针对不同人群使用不同模型也可以更好或更糟。特别是，建模人类的非理性可能使奖赏学习变得困难，从而导致效率和准确性之间的权衡。最后，当反馈以不同的方式（例如示范和偏好）出现时，还会面临进一步的挑战。Jeon et al. [2020] and Bıyık et al. [2022] 提出了结合有关人类目标的不同类型信息的方法，但是这些方法对建模有关人类的假设是敏感的。
　　Fundamental: A single reward function cannot represent a diverse society of humans。RLHF通常被形式化为将AI系统与单个个体保持对齐的解决方案，但人类在其偏好，专业知识和能力上是高度多样化的。评估者之间通常会产生歧义：Stiennon et al. [2020], Ouyang et al. [2022], and Bai et al. [2022a] 报告了标注者与标注者之间，标注者与研究者的一致率从63％到77％，而Biyik and Sadigh [2018] 发现了人类反馈的独特类簇。因此，试图在不考虑这些差异的情况下将各种人类的反馈凝结为单个奖赏模型，这是一个根本上错误设定的问题。此外，当前技术将评估者之间的差异建模为噪声，而不是潜在的分歧来源（请参见公式（1））。结果，当偏好有所不同时，大多数则获胜，这会带个别代表性群体不利。

3.2.2 Reward Misgeneralization and Hacking

奖赏模型往往是不完美的，奖赏模型中的不完美导致reward hacking。
　　Tractable: Reward models can misgeneralize to be poor reward proxies, even from correctlylabeled training data。即使在无限训练数据的约束下，也可以存在许多方法可以拟合有限人类反馈数据集$\mathcal{D}=\{(x,y{)}_{i=1,...,n}\}$。奖赏模型可以使用环境中意外，随机的特征来计算奖赏，并且容易因果混乱和交差的分布外泛化。奖赏学习算法甚至会产生某类奖赏模型，该模型无法在各种环境中从头开始训练新的agent，从而引起了对其作为策略学习信号的可靠性的担忧。
　　Fundamental: Optimizing for an imperfect reward proxy leads to reward hacking。奖赏模型可能会与人类不同，这是由于错误设定（第3.2.1节）和错误泛化（第3.2.2节），以及现实世界机器学习系统无法在复杂问题中达到最小损失所导致的必然失败。此外，奖赏模型被训练以反映人类的认可的行为，而不是对人类有用的行为，这可能导致人类虽然认可该行为却没有用。对于一个不完美的目标代理度量施加强烈的优化压力往往会导致在基本目标上表现糟糕。例如，如果没有对基本模型和微调模型之间的KL散度进行正则化的惩罚，进行RL的LLM时往往会学习生成无意义的文本。这种问题被称为"reward hacking"，这在使用RLHF训练了的AI系统中已经被观察到。 Skalse et al. [2022] 表明，在复杂环境中很难找到不存在"reward hacking"的代理。Zhuang and Hadfield-Menell [2020] 在简单条件下证明了"reward hacking"应该也是默认情况。Pan et al. [2022] 使用一套环境发现，随着智能体的原始能力增加，"reward hacking"也变得更加常见。

3.2.3 Evaluating Reward Models

Tractable: Evaluating reward models is difficult and expensive。当知道真正的奖赏函数时，可以使用几种方法来判断学习的奖赏模型的质量。但是，在大多数情况下，仅当真正的奖赏函数是未知的时候，才使用奖赏建模，从而使直接评估变得不可能。因此，通常通过使用学习的奖赏模型优化RL策略，然后评估RL策略中的生成结果，以间接的方式评估奖赏模型。这使得奖赏模型的评估错综复杂地依赖于固有昂贵且具有噪声的策略优化过程。还不清楚在策略优化过程中做出的许多临时选择是否对奖励模型的评估是鲁棒的，例如RL算法的选择，策略网络的结构，计算时间以及其他超参数选择。间接评估的另一个问题是，奖赏模型的评估信号与训练信号是一致的。结果，训练和评估失败将是相关的。尽管广泛使用间接评估，但尚不清楚策略优化过程中哪些选择对准确评估奖赏模型最有影响力。

3.3 Challenges with the Policy

4.Incorporating RLHF into a Broader Framework for Safer AI