论文笔记--Training language models to follow instructions with human feedback

最新推荐文章于 2025-03-03 17:20:13 发布
最新推荐文章于 2025-03-03 17:20:13 发布
阅读量714 收藏 2
点赞数 1
分类专栏： 论文阅读 文章标签： 论文阅读 语言模型 chatgpt 自然语言处理 nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38124427/article/details/130475303
版权

论文笔记--Training language models to follow instructions with human feedback

1. 文章简介

  • 标题：Training language models to follow instructions with human feedback
  • 作者：Ouyang L, Wu J, Jiang X, et al.
  • 日期：2022
  • 期刊：NIPS

2. 文章导读

2.1 概括

  文章给出了一种基于人类指令对大语言模型进行调整的方法。在人类标注的数据上对GPT-3进行微调，并通过人类打分的数据对上述模型进行强化学习，从而得到一个满足人类偏好的语言模型。文章的整体架构是ChatGPT的前身，相较于GPT-3，回答真实性更高，且危害信息更少。
  文章的整体架构如下
文章架构

2.2 文章重点技术

2.2.1 Supervised Fine-Tune(SFT)

  文章架构中的第一部分Step1采用了SFT方法。为此，文章首先雇用了一些标记员对prompt数据进行回答，称为labeler demonstrations，然后在demonstrations上面对GPT-3进行有监督的微调。微调后的模型我们记作SFT。
step1
  Prompt数据集通过如下方式构建：从OpenAI的Playground API（非生产环境）上面获取用户提交的prompt，其中保证使用每个用户的prompt数量不超过200条，并过滤敏感信息和重复信息（通过长的公共前缀过滤），然后按照user ID划分train, test, val。另外由于API的prompts的多样性较为单一，我们让我们的标记员自己写一些如下类别的prompts以初始化模型：

  • Plain： 标记员写任意任务的prompts，保证任务的多样性
  • Few-shot：标记员提出一个指令和该指令的多个问答对（Few-shot learning中的prompt）
  • User-based：标记员根据OpenAI的API的waitlist（用户希望OpenAI未来的突破）上面的用例提出合适的prompts，从而将用户期望的功能放入prompts。
      prompts 数据在不同阶段的训练配比如下表所示。当前的SFT阶段大部分数据为labeler自己写的prompts。
    prompts 数量分布

2.2.2 Reward Model(RM)

  接下来我们训练一个RM打分模型，为此首先需要一个评分的数据集。OpenAI 构建了一个用户打分的UI，如下图所示。首先上述的SFT模型会对每个prompt生成 K K K个候选答案（ 4 ≤ K ≤ 9 4\le K \le 9 4≤K≤9），用户会对每个答案打分，并对所有答案进行排序。页面的示例如下图所示。为了避免模型overfit且保证训练效率，模型训练时按照prompt对数据集划分，即保证每个prompt的所有 ( K 2 ) \tbinom K2 (2K​)答案对在同一个batch。UI
  RM模型根据上述打分数据进行训练，具体训练方案如下图。损失函数为 l o s s ( θ ) = − 1 ( K 2 ) E ( x , y w , y l ) ∼ D [ log ⁡ ( σ ( r θ ( x , y w ) − r θ ( x , y l ) ) ] loss(\theta) = -\frac 1{\tbinom K2} E_{(x, y_w, y_l)\sim D} [\log (\sigma (r_{\theta} (x, y_w) - r_{\theta} (x, y_l) )] loss(θ)=−(2K​)

最低0.47元/天 解锁文章
论文阅读：Training language models to follow instructions with human feedback
CSPhD-winston的博客
12-08 1231
这篇论文的目标是通过引入一种基于人类反馈的训练方法，来让语言模型更好地按照用户意图行事。这是因为大规模语言模型虽然强大，但有时候会生成不准确、有偏见或者对用户无帮助的内容，这说明它们和用户的需求之间存在一定的“错位”。论文提出了一个新方法，将 GPT-3 进行优化，称为示例数据与监督学习：让人类标注员生成一些正确行为的示例，并使用这些示例来初步优化模型。比较数据与奖励模型：让标注员比较模型生成的多个输出，并将其排序，从中学到模型输出的优劣规则。强化学习优化：基于这些规则，使用强化学习算法进一步优化模型。
Training language models to follow instructions with human feedback
m0_59402094的博客
04-18 1385
训练语言模型遵循人类反馈的指令
Learning to summarize from human feedback导读（1）
Frank-Li的博客
04-10 677
（1） 我们的目标就是让最终结果接近我们所希望的，然后现阶段集中在英文文本摘要上面，现存ROUGE等评估手段，一直遭受不准确的批评。（2） 当把大模型用于下游任务的时候，通常需要监督数据进行微调，数据一般来源于人类总结的证据，来最大化似然函数。（3）这些方法提高了性能，但是呢存在无法对其的问题，微调最大化似然的结果，和人类作出的高质量回答是不一致的。（1） 我们发现，在英语总结方面，有人类反馈的训练显著优于非常强的基线。（1）生成摘要等模型，虽然有评估方法，但是人类总结的质量依旧难以相比。
Learning to Summarize from Human Feedback
apache的专栏
05-02 125
Learning to Summarize from Human Feedback_triplemeng的博客-CSDN博客
论文阅读——《Training Language Models to Follow Instructions with Human Feedback》
最新发布
Azperk的博客
03-03 889
RLHF（基于人类反馈的强化学习）已经成为现代大型语言模型的核心训练方式。本论文不仅提供了一种提高 AI 指令跟随能力的方法，还对后续的 ChatGPT、GPT-4 乃至未来的 AI 发展起到了至关重要的作用。🚀开放问题：你认为未来的 AI 是否应该完全依赖人类反馈训练？如何更好地提升 AI 的可靠性？欢迎在评论区交流！
基于人类反馈的强化学习(RLHF) 理论
消极的人永远是对的，积极的人选择勇往直前
05-07 2301
ChatGPT 背后的“功臣”——RLHF 学习笔记
#Paper Reading# Training language models to follow instructions with human feedback
John159151的专栏
02-21 3020
论文大体内容 本文主要提出了GPT-3.5（InstructGPT）模型，通过使用人类反馈的数据集进行监督学习（RLHF，即reinforcement learning from human feedback），对GPT模型进行Fine-tune，来达到预期效果。
【论文阅读】InstructGPT: Training language models to follow instructions with human feedback
orangerfun的博客
03-22 8957
把语言模型变大并不意味着会让模型更好的理解用户意图，例如大的语言模型会生成一些不真实、有害的、没有帮助的输出给用户，换句话说，这些模型并没有和用户的意图对齐（aligned）。在这篇论文中我们展示了通过使用用户反馈来微调模型的方法，从而使得语言模型在一系列任务上与用户意图对齐。首先通过人工撰写和OpenAI API两种方式收集问题(prompts)，然后人工来写这些问题的答案，从而构建成一个数据集，再使用这些数据集对GPT3进行有监督的微调；
Training language models to follow instructions with human feedback 论文阅读
a_blade_of_grass的博客
06-14 1067
语言模型越大并不意味着它能更好的理解用户的意图，因此在这篇论文中，展示了根据人的反馈对模型进行微调，使得语言模型能够在各种人物上更好的理解用户的意图。在评估中，1.3B参数的InstructGPT模型的输出比175B GPT-3的输出更受欢迎，尽管参数少了100倍。此外，InstructGPT模型虽然在公共的数据上的效果有所降低，但是真实性和减少有害方面生成的能力提升。论文表明，尽管InstructGPT仍然会犯一些简单的错误，但根据人类反馈进行微调是能够理解人类意图的一个有效的方式和方向。
【大模型】Instruct GPT ：Training language models to follow instructions with human feedback
vivid
09-18 903
论文：Training language models to follow instructions with human feedback链接：https://arxiv.org/abs/2203.02155。
Training language models to follow instructions with human feedback翻译
nopSled
12-08 4622
可以通过“提示”并给定一些任务样例作为输入，大型语言模型（LMS）可以被用来执行一系列自然语言处理（NLP）任务。但是，这些模型经常表现出一些不期望行为，例如伪造事实，生成偏见或有毒文本，或者根本不遵守用户指令。这是因为用于训练大型LM的目标（token预测）与“遵守对用户有帮助，且安全的指令”这一目标不同。因此，我们认为语言建模的目标是未被对齐的。避免这些意外行为对于在数百个应用中部署和使用的语言模型尤其重要。我们通过让语言模型满足用户的意图来训练。
[论文阅读]InstructGPT(Training language models to follow instructions with human feedback)
Harry的博客
03-31 1352
语言模型（language models）越大大并不意味着它能更好地理解用户的意图。例如，大型语言模型生成输出不真实、有毒或根本对用户没有帮助。换句话说，这些模型没有准确的理解用户想法。在此论文中，展示了一种有效的方法通过微调使语言模型与用户在各种任务上的意图保持一致与人类反馈。从一组的提示和提示开始通过 OpenAI API 提交，我们收集了已标记的范文数据集所需的模型行为，我们用它来使用有监督的方法来微调 GPT-3学习。
【论文学习】InstructGPT：Training language models to follow instructions with human feedback
weixin_50833696的博客
03-22 905
把语言模型做大并不会使它们更好地遵循人类的意图。由于语言模型的输出的灵活性，它们可能生成一些不真实的、有毒的或是对用户没有帮助的输出。也就是说模型并不能和用户站在同一边。在这篇论文里，研究者通过以人类的反馈对模型进行微调来使得模型能够遵循用户的意图。从标注的prompts和通过OpenAI API提交的prompts里，研究者收集了一个标注者的演示的数据集，演示内容是想要模型学习到的一些行为，然后用这个数据集对GPT-3做微调。
Training language models to follow instructionswith human feedback
靓仔沾点健忘症，写给时间下游的自己
08-30 1869
我们在图2中展示了这一过程。这个过程。
【论文笔记】Training language models to follow instructions with human feedback A部分
m0_48948682的博客
04-30 1600
InstructGPT 技术报告 A部分
LLMs之InstructGPT：《Training language models to follow instructions with human feedback》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-03 5240
​ LLMs之InstructGPT：《Training language models to follow instructions with human feedback》翻译与解读 目录 《Training language models to follow instructions with human feedback》翻译与解读 Abstract 1、Introduction引言 2、Related work相关工作 3、Methods a
10、InstructGPT：Training language models to follow instructions with human feedback
小白的博客
02-21 1362
InstructGPT
ChatGPT基于的InstructGPT论文中文翻本
Beauty2023的博客
10-21 1861
论文名称：Training language models to follow instructions with human feedback 中文翻译：利用人类反馈训练语言模型遵循指示 摘要 使语言模型变得更大并不会本质上使它们更能够符合用户意图。例如，大型语言模型可能会生成不真实、有毒或对用户无帮助的输出。换句话说，这些模型与其用户不对齐。在本文中，我们展示了一种通过人类反馈对语言模型进行微调，从而使其在各种任务上与用户意图保持一致的方法。我们从一组由标注者编写的提示和通过OpenAI A
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值