【大模型】大模型训练知识——偏好对齐

偏好对齐（Preference Alignment）是一种用于优化语言模型的方法，目的是让模型的输出更符合人类的偏好和价值观。它通过直接或间接利用人类的反馈来调整模型的行为，使其生成更高质量、更安全、更符合人类期望的内容。以下是五种常见的偏好对齐训练模式的介绍：

1. KTO（Kahneman-Tversky Optimization）

KTO是一种基于前景理论的优化方法，通过修改效用函数来推导损失函数。它避免了DPO中需要正负样本对的问题，只需要二元反馈（如点赞或点踩），从而简化了数据收集过程。KTO将损失函数拆分为正负两部分，分别处理正样本和负样本。

KTO 数据集格式需要包含人类指令、输入、模型输出以及一个布尔标签（kto_tag），表示该输出是否被接受。数据集通常以 JSON 格式存储。
数据集格式示例：

{
  {
    "instruction": "人类指令",
    "input": "人类输入",
    "output": "模型回答",
    "kto_tag": true  // 表示该回答被接受
  },
  {
    "instruction": "人类指令",
    "input": "人类输入",
    "output": "模型回答",
    "kto_tag": false  // 表示该回答不被接受
  }
}

2. DPO（Direct Preference Optimization）

DPO是一种直接偏好优化方法，通过构造偏好数据集进行优化。它不需要单独训练奖励模型，而是直接在模型的输出上优化人类偏好的结果。DPO在训练过程中使用成对的偏好数据（如“好的回答”和“不好的回答”），并通过对比学习的方式优化模型。

DPO 数据集格式需要包含人类指令、输入、优质回答（chosen）和劣质回答（rejected）。数据集通常以 JSON 格式存储。

{
  {
    "instruction": "人类指令",
    "input": "人类输入",
    "chosen": "优质回答",
    "rejected": "劣质回答"
  }
}

3. SimPO（Simple Preference Optimization）

SimPO是一种简单偏好优化方法，旨在消除对参考模型的需求。它通过定义损失函数和采用长度归一化策略，直接优化模型的输出，同时控制生成内容的长度。SimPO在性能上优于DPO及其变体。

SimPO 数据集格式与 DPO 类似，也需要包含人类指令、输入、优质回答和劣质回答。数据集通常以 JSON 格式存储。

{
  {
    "instruction": "人类指令",
    "input": "人类输入",
    "chosen": "优质回答",
    "rejected": "劣质回答"
  }
}
# 4. RLHF（Reinforcement Learning from Human Feedback）奖励模型
RLHF是一种基于强化学习的方法，通过人类反馈训练奖励模型（Reward Model），然后使用PPO（Proximal Policy Optimization）等算法优化模型。这种方法虽然有效，但训练成本较高，且优化过程较为复杂。

RLHF 数据集格式需要包含人类指令、输入、优质回答和劣质回答，用于训练奖励模型。数据集通常以 JSON 格式存储。
# 5. ORPO（Odds Ratio Preference Optimization）
ORPO是一种将监督微调（SFT）和偏好对齐集成到单一步骤中的方法。它通过定义相关函数推导损失函数，避免了传统方法中需要单独训练奖励模型的问题。ORPO在某些数据集上表现出色，但也有一定的局限性。

ORPO 数据集格式也类似于 DPO 和 SimPO，需要包含人类指令、输入、优质回答和劣质回答。

# 总结
这些偏好对齐方法各有优缺点，选择哪种方法取决于具体的应用场景和资源限制。例如，KTO和SimPO更适合资源有限的场景，而RLHF和DPO则在性能上可能更优，但需要更多的计算资源和标注数据。

KTO：需要布尔标签（kto_tag）来表示输出是否被接受。
DPO、SimPO、RLHF、ORPO：都需要包含优质回答（chosen）和劣质回答（rejected）。
数据集通常以 JSON 格式存储，包含人类指令、输入、优质回答和劣质回答。