OpenAI: InstructGPT的简介

已于 2024-01-25 20:29:21 修改
阅读量1.4k 收藏 24
点赞数 27
文章标签： 人工智能 大模型 GPT 深度学习
于 2023-12-29 09:35:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81888214/article/details/135283340
版权
本文探讨了OpenAI的InstructGPT项目，聚焦于模型的指令微调，强调了3H原则（Helpful,Honest,Harmless）的应用。文章介绍了训练数据集的构建，强调了用户导向和真实场景交互，以及与传统NLP任务评估的不同。
摘要由CSDN通过智能技术生成

OpenAI: InstructGPT

  • paper: 2022.3 Training Language Model to follow instructions with human feedback

  • Model: (1.3B, 6B, 175B) GPT3

  • 一言以蔽之：你们还在刷Benchamrk?我们已经换玩法了！更好的AI才是目标

这里把InstructGPT拆成两个部分，本章只说指令微调的部分，也就是训练三部曲中的第一步，论文中叫SFT(Supervised fine-tuning)。从论文的数据构建和评估中，不难发现OpenAI对于什么是一个更好的模型的定义和大家出现了差异，当谷歌，BigScience联盟还在各种不同的标准任务上评估LM模型能力提升时，OpenAI的重点已经变成了更好的AI，也就是能更好帮助人类解决问题的人工智能。简化成3H原则就是

  • Helpful：模型能帮助用户解决问题

  • Honest: 模型能输出真实信息

  • Harmless： 模型输出不能以任何形式伤害人类

于是正文部分的评估基本没有常见的Accuracy，F1等,而是变成了各种人工评估的打分，例如LikeScore，Hallucinations等等。指令微调数据集的分布也从标准NLP任务向用户在playground中提交的问题偏移。下面我们细说下这两部分

指令集

先说下SFT指令集的构建，InstructGPT构建了训练12725+验证1653条prompt指令，由标注员的标注样本和用户在playground中和模型交互的指令共同构成，相比T0指令的多样性又有大幅提升。不过以下的指令数量包括了few-shot采样，也就是1个instruction采样不同的few-shot算多条指令。

img

除了丰富程度，和T0以及Flan指令集最大的差异在于指令类型的分布。 标注人员标注了以下三类样本

  • Plain: 标注同学自由构建任务指令

  • Few-shot：自由构建任务的同时给出few-shot样例

  • User-Based: 基于用户申请waitlist时给出的使用用途，让标注同学构建对应的指令任务

整体上会更偏向于用户在真实场景下和模型交互可能提问的问题，自由式生成例如脑暴，改写，聊天，自由创作类的任务占了绝大多数。 而T0，Flan的指令集集中在NLP的分类和QA任务，这类任务的在实际交互中占比其实很小。下图是OpenAI play ground中收集的用户指令的分布

img

以及从论文的表述中存在迭代 ，也就是标注同学标注的指令集用于训练第一版InstructGPT，然后发布到playground，收集更多的用户和模型交互的指令，再使用用户指令来训练后续的模型。因此在用户导向的数据集上OpenAI相比所有竞争对手都有更深厚的积累，你以为在白嫖人家的playground？人家也在收集数据提升他们的模型。

SFT使用cosine rate decay 例如微调了16个epoch，但是发现在第一个epoch上验证集就已经过拟合了，但是过拟合会提升后续RLHF的模型效果。这部分我们放到RLHF章节再讨论，也就是什么样的模型更合适作为RLHF的起点

评估指标

从论文对如何把3H原则转化成客观的模型评估指标的讨论上，不难感受到OpenAI对于标注标准有过很长期的讨论和迭代，包括3个方向

  1. Helpful有用性

主要评价模型是否理解了指令意图，考虑有些指令本身意图的模糊性，因此有用性被泛化成标注同学1-7分的偏好打分。

  1. Harmless有害性

针对模型输出是否有害其实取决于模型的输出被用在什么场景中。OpenAI最初是用疑似有害性作为判断标注，不过看起来可能双审一致率不高，不同标注同学对疑似有害的认知存在较大差异。因此OpenAI设计了几条明确的有害标准，和风控类似，包括涉黄，涉暴，有侮辱性言语等等。

  1. Honest事实性

相比Honest的含义 ，Truthfulness更适合用与没有价值观的模型，论文使用封闭域上模型伪造事实的概率，和在QA问题上的准确率来评估。

以上的标注标准，具体反映在以下的标注页面中

img

模型效果

评估数据也分成了两部分，标准NLP数据集，和API收集的指令数据进行标注得到，也就是OpenAI独有数据。

  1. API数据集

有用性上，不论是在请求GPT，还是在请求InstructGPT的指令样本中，不论是使用新的标注同学，还是和标注训练样本相同的标注同学，对比原始GPT3，SFT之后的模型like score都显著更高，并且存在模型规模效应。

img

具体拆分到是否遵循指令，是否给出伪事实，以及能否对用户起到帮助作用上，SFT微调后的模型都有显著提升。

img

同时论文对比了使用Flan和T0的指令集对GPT3进行微调，发现虽然比原始GPT3有提升，但是效果会显著差于使用更接近人类偏好的指令集微调的SFT。论文给出了两个可能的原因

  • 公开NLP任务类型集中在分类和QA，这和OpenAI playground中收集的任务分布存在较大的差异

  • 公开NLP数据集的指令丰富程度 << 人们实际输入的指令多样性

img

  1. 标准NLP任务

在TruthfulQA任务上，SFT模型相比GPT有微小但是显著的提升，整体事实性还是有待提高。

img

在RealToxicityPrompts数据集上，不管是人工打分还是Perspective模型打分都显示，SFT相比GPT3，在产出有害内容上比例有显著的下降。

img

综上所述，InstructGPT在指令微调上最大突破是指令数据集分布的差异性，标准NLP任务更少，自由开放类任务更多，以及依赖Openai免费开放的playground，可以持续收集用户的指令用于模型迭代。同时在评估标准上，在语言模型之外引入3H体系来评价模型作为AI的能力效果。

   在线教程

有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓
​

请添加图片描述

人工智能书籍

第一阶段：零基础入门（3-6个月）

新手应首先通过少而精的学习，看到全景图，建立大局观。 通过完成小实验，建立信心，才能避免“从入门到放弃”的尴尬。因此，第一阶段只推荐4本最必要的书（而且这些书到了第二、三阶段也能继续用），入门以后，在后续学习中再“哪里不会补哪里”即可。

第二阶段：基础进阶（3-6个月）

熟读《机器学习算法的数学解析与Python实现》并动手实践后，你已经对机器学习有了基本的了解，不再是小白了。这时可以开始触类旁通，学习热门技术，加强实践水平。在深入学习的同时，也可以探索自己感兴趣的方向，为求职面试打好基础。

第三阶段：工作应用

这一阶段你已经不再需要引导，只需要一些推荐书目。如果你从入门时就确认了未来的工作方向，可以在第二阶段就提前阅读相关入门书籍（对应“商业落地五大方向”中的前两本），然后再“哪里不会补哪里”。

 有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓
​

在这里插入图片描述

人工智能小豪
关注
【人工智能AI】InstructGPT介绍：OpenAI 引入 InstructGPT 语言模型以遵循人类指令
AI天才研究院
02-20 2万+
InstructGPT 是 OpenAI 开发的生成式语言模型，它是 聊天GPT 的姊妹模型，两者同属于 GPT-3.5 系列。相较于 GPT-3, GPT 3.5 使用了指示学习（Instruction Learning）和人工反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）来指导模型的训练，从而更好的理解和遵循人类的意图，拥有更好的实际表现。
大语言模型原理与工程实践：InstructGPT
AGI通用人工智能之禅
09-02 430
大语言模型原理与工程实践：InstructGPT 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词： 大语言模型，InstructGPT，指令微调，预训练，自然语言处理，多模态，迁移学习，生成
InstructGPT: Training language models to follow instructions with human feedback 原理详解
日常学习与专研的记录
08-16 769
本文根据论文介绍 InstructGPT的原理。
instructGPT论文精读
yaogepila的博客
07-09 467
instructGPT论文精读
OpenAI: InstructGPT
2301_81887304的博客
02-06 864
一言以蔽之：你们还在刷Benchamrk?我们已经换玩法了！更好的AI才是目标这里把InstructGPT拆成两个部分，本章只说指令微调的部分，也就是训练三部曲中的第一步，论文中叫SFT(Supervised fine-tuning)。从论文的数据构建和评估中，不难发现OpenAI对于什么是一个更好的模型的定义和大家出现了差异，当谷歌，BigScience联盟还在各种不同的标准任务上评估LM模型能力提升时，OpenAI的重点已经变成了更好的AI，也就是能更好帮助人类解决问题的人工智能。简化成3H原则就是。
十分钟读完 OpenAI提出InstructGPT模型的经典论文：Training language models to follow instructions with human feedback
夕小瑶科技说
01-16 1143
大型语言模型（LMs）虽然能够执行多种自然语言处理（NLP）任务，但它们并不总是能够很好地遵循用户的意图。例如，它们可能会产生不真实、有偏见、有毒或者简单地不遵循用户指令的输出。这是因为大型LMs的训练目标——预测互联网网页上的下一个词——与“有帮助且安全地遵循用户指令”的目标不同。因此，我们说这些模型与用户的目标不一致。对于部署在数百个应用中的语言模型来说，避免这些意外行为尤为重要。1. 与GPT-3相比，参数少100倍的InstructGPT模型更受青睐。
GPT / GPT-2 / GPT-3 / InstructGPT 进化之路
zenRRan的博客
03-01 1981
‍知乎：AaronWu（已获作者授权，勿随意转载）链接：https://zhuanlan.zhihu.com/p/609716668编辑：深度学习自然语言处理 公众号引言近期，ChatGPT 火遍圈内外，连微博热搜都出现了它的身影。突然之间，好多许久未联系的各行各业的同学好友都发来“问候”：ChatGPT 是什么？其实，ChatGPT 的成功并非一朝一夕，而是 OpenAI 长达 4 年多持续努力...
ChatGPT内核：InstructGPT，基于反馈指令的PPO强化学习 - 知乎.pdf
05-18
InstructGPT是OpenAI公司研发的一种强化学习微调技术，旨在提高预训练语言模型的可控性和准确性。这篇文章将深入探讨InstructGPT的核心机制以及它与GPT系列模型的关系。 首先，我们需要了解GPT系列的发展历程。GPT-...
比 GPT-3 更擅长理解用户意图，OpenAI发布 InstructGPT
AI科技大本营
02-09 2873
作者 | 青苹果来源 | 数据实战派近日，OpenAI 发布了一项令人瞩目的研究—— InstructGPT。在这项研究中，相比 GPT-3 而言，OpenAI 采用对齐研究（alignm...
深度学习：卷积神经网络中的im2col
m0_49786943的博客
10-31 1193
第二行为 2，3，4，6，7，8，10，11，12，18，19，20，22，23，24，26，27，28，34，35，36，38，39，40，42，43，44 即第二次卷积运算所涉及到的输入数据。第一行为 1，2，3，5，6，7，9，10，11，17，18，19，21，22，23，25，26，27，33，34，35，37，38，39，41，42，43 即第一次卷积运算所涉及到的输入数据。在传统的卷积操作中，卷积核（滤波器）在输入图像上滑动，逐个计算每个位置的卷积结果。若是批大小为10，即保存10倍的数据。
探讨Facebook的AI研究：未来社交平台的技术前瞻
LokiSan的博客
10-29 1738
在数字时代，社交媒体已成为人们日常生活的重要组成部分。作为全球最大的社交网络之一，Facebook不断致力于人工智能（AI）的研究与应用，以提升用户体验、增强平台功能并推动技术创新。本文将探讨Facebook在AI领域的研究方向及其对未来社交平台的潜在影响。
自助餐剩余食品识别图像分割系统：教学内容全覆盖
sgcsdn99的博客
11-04 1284
数据集信息展示在本研究中，我们使用的数据集名为“9_5_Merged”，该数据集专门用于训练改进YOLOv8-seg的自助餐剩余食品识别图像分割系统。该数据集包含71个类别，涵盖了丰富多样的食品种类，旨在提高模型对不同类型剩余食品的识别和分割能力。通过对这些类别的细致划分，我们希望能够实现更高精度的图像分割，进而优化自助餐剩余食品的管理和利用。
UOS AI 1.6 版本升级，如何实现精准搜索，效率翻倍？
vickynesss的博客
11-01 764
通过直接接入互联网的实时数据流，搜索结果变得多样化，不仅限于文字总结，还包括思维导图、事件与人物的综合概述，以及图片、视频、音频等多种形式，显著提高了回答的准确性和全面性。全局搜索全新搭载端侧大模型：支持离线自然语言搜索，无论身在何处，即使没有网络，只需通过快捷键“Shift+space(空格键）”唤醒全局搜索，都能轻松找到所需文件。：对于日常积累的海量截图，只需借助全局搜索功能，简要描述图片内的文字信息，便能迅速锁定并检索到所需图片。：重要信息直接添加到知识库，方便日后查阅，让全局搜索成为你的第二大脑。
如何在 AI 时代打造你的核心竞争力？
玉树芝兰
11-01 751
（注：本文为小报童精选文章。已订阅小报童或加入知识星球「玉树芝兰」用户请勿重复付费）焦虑在《AI 研究已摘得诺奖桂冠，普通科研工作者将何去何从？》一文中我谈过自己对目前 AI 技术浪潮对大众影响的体会——未来已来，只是分布不均。很多人在还没有意识到 AI 带来的变革潜能时，觉得与自己无关，日子该怎么过怎么过，倒也轻松。而一旦突然意识到 AI 的重要性，就会变得焦虑万分。这种焦虑，就是挣扎与思考在外...
基于Keras的U-Net模型在图像分割与计数中的应用
10-31 2297
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
AI代币是什么？AI与Web3结合的未来方向在哪里？
BlockOne11的博客
10-30 1465
近两年随着人工智能的崛起，AI已经渗透到制造业、电商、广告、医药等各个行业，加密货币领域也不例外，人工智能与区块链的融合，让我们看到了独特的数字资产 — AI加密代币。它的流行始于2022年底，随着OpenAI智能聊天机器人ChatGPT的火爆，许多人意识到，人工智能不再只是出现在电影里面，更多的应用已经照进现实，AI已经作为一种高效的生产力应用到实际的产业中。人工智能狂热也影响了机构巨头。例如，谷歌宣布将着手开发自己的人工智能聊天机器人 Bard。
AIGCDesign——开放式跨端AI组件解决方案
银行信息系统应用架构导论
10-31 111
组件库内置AI聊天全流程的交互，通过少量入参可实现基础功能的产出，也可以结合生命周期事件和相关属性进行定制化配置。......结合生命周期事件和相关属性配置，可自定义以下功能：大模型请求：调用方可自行进行大模型接口请求，并将会话数据注入容器，容器根据注入的数据进行会话区域渲染。
Python的自然语言生成与对话系统介绍
最新发布
余生的博客
11-05 596
自然语言生成(Natural Language Generation，NLG)和对话系统是人工智能领域的重要研究方向。NLG 涉及将计算机理解的信息转换为自然语言文本，而对话系统则涉及计算机与用户之间的自然语言交互。Python 作为一种易于学习、易于使用的编程语言，在这两个领域中发挥了重要作用。核心概念与联系核心算法原理和具体操作步骤数学模型公式详细讲解具体最佳实践：代码实例和详细解释说明实际应用场景工具和资源推荐总结：未来发展趋势与挑战。
揭秘ChatGPT：InstructGPT驱动的智能生成原理与应用探讨
文章的核心焦点在于ChatGPT背后的训练技术，尤其是OpenAI的InstructGPT。InstructGPT利用人工反馈和强化学习进行微调，旨在生成更符合人类期望的回复。它作为ChatGPT的“孪生兄弟”，两者共享相似的训练方法，但...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值