RLHF 基于人类反馈的强化学习

1 针对一个问题，生成多个答案：针对某个问题，由一个大语言模型生成多个答案/或不同大语言模型针对该问题生成答案。

2 生成有排序的数据集：得到了一个问题的多个答案，人工/标注模型 对好的答案打高分，差的答案打低分，这样相当于根据答案的好坏对多个答案进行排序（ranking）。

上述人工/标注模型 起到标注顺序的作用，给定排序的真实标签。

3 训练奖励模型，让奖励模型对大语言模型生成的答案打分：让奖励模型学习什么是好答案，什么是坏答案，对好的答案给高分。