Safe RLHF: 安全的人类反馈强化学习

Safe RLHF: 安全的人类反馈强化学习

随着大语言模型(LLMs)的快速发展,如何在AI系统的性能和安全性之间取得平衡变得越来越重要。然而,在LLM训练过程中,有用性和无害性这两个目标之间存在着内在的张力,这给训练带来了巨大挑战。为了解决这个问题,北京大学的研究团队提出了一种新的人类价值对齐算法 - Safe Reinforcement Learning from Human Feedback (Safe RLHF)。

Safe RLHF的核心思想

Safe RLHF的核心思想是显式地解耦人类对有用性和无害性的偏好。这种方法有效避免了众包工人在评估模型输出时对这两个目标之间张力的困惑,同时允许研究人员训练单独的奖励模型和成本模型。Safe RLHF将LLMs的安全性问题形式化为一个优化任务:在满足特定成本约束的同时最大化奖励函数。

Safe RLHF的技术细节

Safe RLHF利用拉格朗日方法来解决这个带约束的优化问题,在微调过程中动态调整两个目标之间的平衡。具体来说,Safe RLHF的优化目标可以表示为:

$$ \begin{aligned} \mathop{\operatorname{maximize}}\limits_{\theta} ~ & \mathcal{J}R (\theta) \triangleq \mathbb{E}{\boldsymbol{\tau} \sim \pi_{\theta}} \left[ R (\boldsymbol{\tau}) \right] \ \text{s.t.} ~ & \mathcal{J}C (\theta) \triangleq \mathbb{E}{\boldsymbol{\tau} \sim \pi_{\theta}} \left[ C (\boldsymbol{\tau}) \right] \le C_{\text{limit}} \end{aligned} $$

其中,$R(\cdot)$和$C(\cdot)$分别是奖励函数和成本函数,它们是基于人类偏好训练的神经网络,作为人类代理。

Safe RLHF的实验结果

研究团队通过三轮使用Safe RLHF的微调,展示了该方法在减少有害响应的同时提高模型性能方面的优越能力。在实验中,他们使用Safe RLHF对Alpaca-7B模型进行了微调,并将其与收集的人类偏好进行对齐。根据人类评估,这显著提高了模型的有用性和无害性。

Safe RLHF与其他RLHF框架的比较

与其他支持RLHF的框架相比,Safe RLHF是第一个支持从SFT到RLHF和评估所有阶段的框架。此外,Safe RLHF也是第一个在RLHF阶段考虑安全偏好的框架。它在策略空间中的约束参数搜索方面具有更强的理论保证。

框架	SFT	偏好模型训练	RLHF	Safe-RLHF	PTX Loss	评估	后端
Beaver (Safe-RLHF)	✔️	✔️	✔️	✔️	✔️	✔️	DeepSpeed
trlX	✔️	❌	✔️	❌	❌	❌	Accelerate / Nemo
DeepSpeed-Chat	✔️	✔️	✔️	❌	✔️	❌	DeepSpeed
Colossal-AI	✔️	✔️	✔️	❌	✔️	❌	Colossal-AI

Safe RLHF的数据集

为了支持可复现的RLHF研究,研究团队还发布了PKU-SafeRLHF-Dataset。其中包括:

1. PKU-SafeRLHF-10K: 这是首个包含10k个带有安全偏好的实例的数据集。该数据集涵盖了超过十个维度的约束,如侮辱、不道德、犯罪、情感伤害、隐私等。

2. PKU-SafeRLHF-1M: 这是一个更大规模的数据集,需要填写相关申请才能使用。

这些数据集的发布为RLHF技术的研究和发展提供了宝贵的资源。

Safe RLHF的应用 - Beaver模型

基于Safe RLHF技术,研究团队开发了Beaver模型。Beaver是一个基于LLaMA的大语言模型,通过收集与有用性和无害性相关的人类偏好数据,并使用Safe RLHF技术进行训练。在保持Alpaca模型有用性能的同时,Beaver显著提高了其无害性。

Beaver模型的命名灵感来自海狸这种动物。海狸被称为"天然的大坝工程师",它们善于使用树枝、灌木、岩石和泥土来建造大坝和小木屋,创造适合其他生物居住的湿地环境,是生态系统中不可或缺的一部分。北京大学团队希望通过Constrained Value Alignment (CVA)技术为LLMs构建一道"大坝",从而确保大语言模型的安全性和可靠性,同时适应不同人群的广泛价值观。

Safe RLHF vs. RLAIF

目前,实现语言模型对齐的方法主要有三种:

1. 在LLM预训练阶段,通过人工筛选和数据清洗获得更高质量的数据。
2. 在微调阶段(SFT和RLHF),通过更多样化和无害的用户指令和人类偏好模型来对齐模型。
3. 在输出阶段使用奖励模型进行拒绝采样,以提高输出质量和安全性。或者在部署的产品中,直接基于某些规则检测并拒绝回应用户输入。

然而,这些方法都有一些缺点。第一种方法只能解决部分安全问题,并且需要大量的人力和财力来获得高质量数据。第二种方法由于人们价值观的差异以及普遍存在的歧视和偏见问题,即使经过RLHF,大语言模型中仍然存在歧视和偏见问题。第三种方法虽然可以保证模型输出的安全性,但可能会影响其有用性。

相比之下,Safe RLHF通过引入安全约束并引导LLMs更好地符合道德和法律价值观,提供了一种更可靠的方法。这需要克服现有技术和方法的局限性,并在RLHF中结合多种技术和方法来实现更全面的安全约束。

结论

Safe RLHF为解决大语言模型的安全性和有用性之间的平衡问题提供了一种新的思路。通过显式解耦人类对有用性和无害性的偏好,Safe RLHF不仅提高了模型的性能,还显著增强了其安全性。这种方法为未来AI系统的发展指明了一个重要方向,即在追求性能的同时,也要充分考虑安全性和道德问题。

随着Safe RLHF技术的不断发展和完善,我们可以期待看到更多安全、有用且符合人类价值观的AI系统的出现。这不仅将推动AI技术的进步,也将为AI的负责任发展和应用奠定基础。

文章链接：www.dongaigc.com/a/safe-rlhf-secure-human-feedback
https://www.dongaigc.com/a/safe-rlhf-secure-human-feedback

https://www.dongaigc.com/p/PKU-Alignment/safe-rlhf

www.dongaigc.com/p/PKU-Alignment/safe-rlhf