人类对齐的大模型

人类对齐笔记

大语言模型的能力主要源自于对于海量文本数据的学习，因此大模型的行为会受到数据质量、数据来源以及具体创作者等多方面的影响。经过大规模的预训练和有监督指令微调，大语言模型具备了解决各种任务的通用能力和指令遵循能力，但是同时也可能生成有偏见的、冒犯的以及事实错误的文本内容。这些潜在的有害行为，可能在下游应用中产生严重的影响与危害，进一步被恶意使用者进行放大与利用。在大语言模型的学习过程中，如何确保大语言模型的行为与人类价值观、人类真实意图和社会伦理相一致成为了一个关键研究问题，通常称这一研究问题为人类对齐。

对齐标准

1、有用性

大语言模型需要提供有用的信息，能够准确完成任务，正确理解上下文，并展现出一定的创造性与多样性。

2、诚实性

模型的输出应具备真实性和客观性，不应夸大或歪曲事实，避免产生误导性陈述，并能够应对输入的多样性和复杂性。

3、无害性

大语言模型应避免生成可能引发潜在负面影响或危害的内容。在处理敏感主题时，模型应遵循道德标准和社会价值观，从而消除冒犯性与歧视性。
细化标准：行为对齐要求人工智能系统能够做出符合人类期望的行为；在此基础上，意图对齐则进一步要求大语言模型在意图和行为上都要与人类期望保持一致，这涉及到哲学、心理学以及技术细节上的多重挑战；道德对齐要求语言模型应避免涉及非法、不道德或有害的话题，在回应中优先考虑用户安全、道德准绳和行为边界。

基于人类反馈的强化学习

由于对齐标准难以通过形式化的优化目标进行建模，因此研究人员提出了基于人类反馈的强化学习（RLHF），引入人类反馈对大语言模型的行为进行指导。
基于人类反馈的强化学习旨在利用收集到的人类反馈数据指导大语言模型进行微调，从而使得大语言模型在多个标准（例如有用性、诚实性和无害性）上实现与人类的对齐。RLHF首先需要收集人类对于不同模型输出的偏好，然后使用收集到的人类反馈数据训练奖励模型，最后基于奖励模型使用强化学习算法微调大语言模型。

RLHF算法系统

RLHF 算法系统主要包括三个关键组成部分：需要与人类价值观对齐的模型、基于人类反馈数据学习的奖励模型以及用于训练大语言模型的强化学习算法。
1、监督微调
为了让待对齐语言模型具有较好的指令遵循能力，通常需要收集高质量的指令数据进行监督微调。指令数据一般包括任务描述和示例输出，可以由人类标注员针对特定任务编写，也可以由大语言模型自动生成。
2、奖励模型训练
使用人类反馈数据训练奖励模型。标注员将模型生成的输出按照最佳到最差的顺序进行排序，并据此训练奖励模型来预测这个排序。
3、强化学习训练
语言模型对齐被转化为一个强化学习问题。

1、奖励模型的训练

由于RLHF的训练过程中需要依赖大量的人类偏好数据进行学习，因此很难在训练过程中要求人类标注者实时提供偏好反馈。为此，我们需要训练一个模型来替代人类在RLHF训练过程中实时提供反馈，这个模型被称为奖励模型。
1、训练方法
奖励模型通过在人类偏好数据上进行训练，进而针对模型输出进行质量的判别，所给出的分数可以在一定程度上反应人类偏好。奖励模型是基于语言模型进行设计的，模仿人类标注人员对于模型生成内容进行质量评分，实现对于人类偏好分数的预测。
奖励模型的3中形式：打分式、对比式、排序式
2、训练策略
为了进一步增强奖励模型对于人类偏好的拟合能力，可以通过修改训练过程的目标函数、选取合适的基座模型和设置合理的奖励计算形式等方式来优化奖励模型的训练过程。
①目标函数优化
在训练大规模奖励模型时，有时会遇到过拟合问题。为了解决这一问题，可以将最佳的模型输出所对应的语言模型损失作为正则项，从而缓解奖励模型在二元分类任务上的过拟合问题。可以在对比式方法的损失函数的基础上添加模仿学习（ImitationLearning）的损失函数，即奖励模型在学习最大化正负例分数差距的同时也学习基于输入𝑥生成正例𝑦+。

②基座模型的选取
使用更大的奖励模型（与原始模型尺寸相等或更大的模型）通常能更好地判断模型输出质量，提供更准确地反馈信号。
③奖励计算形式
由于对齐存在多个标准，单一奖励模型很难满足所有对齐标准。，可以针对不同对齐标准训练多个特定的奖励模型，然后使用特定的组合策略（例如取平均值或加权平均）计算基于这些奖励模型的最终奖励。

3、强化学习训练
强化学习是RLHF中的核心优化算法。强化学习旨在训练一个智能体，该智能体与外部环境进行多轮交互，通过学习合适的策略进而最大化从外部环境获得的奖励。
4、ppo
近端策略优化（ProximalPolicy Optimization, PPO）算法是强化学习领域的一种重要优化方法，主要用于训练能够根据外部环境状态做出行为决策的策略模型。