Instruct GPT:training language models to follow instructions with human feedback

VIP文章 已于 2024-01-05 21:36:37 修改
阅读量833 收藏 20
点赞数 16
分类专栏： 论文 文章标签： gpt 语言模型 人工智能
于 2024-01-05 21:28:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013308709/article/details/135348693
版权

Instruct GPT

局限性

  • GPT等大型语言模型基于Prompt的zero shot的学习范式有一个很大的问题是，预训练的模型完成的任务是后继文本的预测，这和具体任务的要求有一些偏离，生成的结果也不一定符合人的意图。

贡献

  • 本文提出构建人类反馈的数据集，使用监督学习去Fine-tune GPT模型，这样能使得模型往大家希望的方向行进（模型输出与人类意图Alignment）。
  • Fine-tune后，仅使用13亿参数量的GPT-3.5比1750亿参数量的GPT-3效果要好。

数据集

  1. Plain：自己随便拍脑袋想一些prompts，同时尽可能保证任务的多样性。（比方随便写”请给我写个段子“，”请给我把这段话翻译成德语“等等各种问题、要求），13k training prompts (from the API and labeler-written)
  2. Few-shot：不仅仅需要需要写prompts，还需要写对应的outputs。（这部分应该是最耗费人力的了，因为需要给出若干个示例回答），33k training prompts (from the API and labeler-written
最低0.47元/天 解锁文章
WindyChanChan
关注
  • 16
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
jr:Instruct 的 JIRA 报告
07-09
小 Jr 是一个帮助 JIRA 报告票数、工程师可用性和当前工作的宝石。 它主要针对 Instructure 对 JIRA 的使用。 它依赖于两件事： $HOME目录中的.jrrc文件，以及$JIRA_USERNAME和$JIRA_PASSWORD环境变量。 在您的.jrrc文件中，您定义了一个 JSON 对象，其根键是您的项目名称。 每个项目都依赖于两个键：一个site属性，它指定您的 JIRA 实例的根 url，以及一个jql属性，它是一个 JQL 字符串，它将指定将被拉取以报告该特定项目的问题。 任务 任务是您可以在命令行上提供给 Jr 的报告命令。 目前有三个任务： all报告与项目指定的 JQL 匹配的所有票证。 current报告正在处理的项目的当前工单，包括工单 ID、受理人、摘要和自创建以来的时间。 points报告指定项目中的总的、活动的和关闭的故事点。 示例用
prompts:免费和开源的OpenAI GPT-3提示管理
03-08
提示 这是OpenAI GPT-3提示的免费开放源代码（FOSS）策划。 执照 GPL-3 .prompt文件格式 这是我用来组织这些提示的格式。 它是具有模式的yaml ，尚未定义。 该文件与该模式的示例一样好。 title : " meeting bullet points to summary " prompt : |+ Convert my short hand into a first-hand account of the meeting: <1> Summary: engine : " davinci-instruct-beta " temperature : 0.7 max-tokens : 60 top-p : 1 frequency-penalty : 0.0 presence-penalty : 0.0 best-of : 1 stop-
gpt3-instruct-sandbox:使用GPT-3 Instruct API的交互式Jupyter Notebook环境
03-06
gpt3-instruction-sandbox 使用GPT-3 Instruct API的交互式Jupyter Notebook环境 描述 该项目更新了现有的GPT-3沙盒项目（ ），以与OpenAI的Instruct API交互（仍处于beta状态，请通过加入候补列表） ）。 示例包括使用IPython窗口小部件向GPT-3输入提示然后在一个位置运行SQL代码（使用sqalchemy）的交互式UI。 描述GPT-3指令用法的文章位于： : 。
首次：微软用 GPT-4 做大模型指令微调，新任务零样本性能再提升
04-09
大模型指令微调水平在不断地提高，这次微软用上了 GPT-4。 我们知道，从谷歌 T5 模型到 OpenAI GPT 系列大模型，大语言模型（LLMs）已经展现出了令人印象深刻的泛化能力，比如上下文学习和思维链推理。同时为了使得 LLMs 遵循自然语言指令和完成真实世界任务，研究人员一直在探索 LLMs 的指令微调方法。实现方式有两种：一是使用人类标注的 prompt 和反馈在广泛任务上微调模型，二是使用通过手动或自动生成指令增强的公共基准和数据集来监督微调。 在这些方法中，Self-Instruct 微调是一种简单有效的方法，它从 SOTA 指令微调的教师 LLMs 生成的指令遵循数据中学习，使得 LLMs 与人类意图对齐。事实证明，指令微调已经成为提升 LLMs 零样本和小样本泛化能力的有效手段。 最近，ChatGPT 和 GPT-4 的成功为使用指令微调来改进开源 LLMs 提供了巨大的机遇。Meta LLaMA 是一系列开源 LLMs，其性能与 GPT-3 等专有 LLMs 相媲美。为了教 LLaMA 遵循指令，Self-Instruct 因其卓越性能和低成本被快速采用。比如斯坦
首次：微软用GPT-4做大模型指令微调，新任务零样本性能再提升
04-10
大模型指令微调水平在不断地提高，这次微软用上了 GPT-4。 我们知道，从谷歌 T5 模型到 OpenAI GPT 系列大模型，大语言模型（LLMs）已经展现出了令人印象深刻的泛化能力，比如上下文学习和思维链推理。同时为了使得 LLMs 遵循自然语言指令和完成真实世界任务，研究人员一直在探索 LLMs 的指令微调方法。实现方式有两种：一是使用人类标注的 prompt 和反馈在广泛任务上微调模型，二是使用通过手动或自动生成指令增强的公共基准和数据集来监督微调。 在这些方法中，Self-Instruct 微调是一种简单有效的方法，它从 SOTA 指令微调的教师 LLMs 生成的指令遵循数据中学习，使得 LLMs 与人类意图对齐。事实证明，指令微调已经成为提升 LLMs 零样本和小样本泛化能力的有效手段。 最近，ChatGPT 和 GPT-4 的成功为使用指令微调来改进开源 LLMs 提供了巨大的机遇。Meta LLaMA 是一系列开源 LLMs，其性能与 GPT-3 等专有 LLMs 相媲美。为了教 LLaMA 遵循指令，Self-Instruct 因其卓越性能和低成本被快速采用。比如斯坦
InstructGPT 精简总结：Training language models to follow instructions with human feedback
weixin_43646592的博客
05-22 802
InstructGPT 精简总结：Training language models to follow instructions with human feedback
【论文阅读】InstructGPT: Training language models to follow instructions with human feedback
orangerfun的博客
03-22 5981
把语言模型变大并不意味着会让模型更好的理解用户意图，例如大的语言模型会生成一些不真实、有害的、没有帮助的输出给用户，换句话说，这些模型并没有和用户的意图对齐（aligned）。在这篇论文中我们展示了通过使用用户反馈来微调模型的方法，从而使得语言模型在一系列任务上与用户意图对齐。首先通过人工撰写和OpenAI API两种方式收集问题(prompts)，然后人工来写这些问题的答案，从而构建成一个数据集，再使用这些数据集对GPT3进行有监督的微调；
10、InstructGPT：Training language models to follow instructions with human feedback
小白的博客
02-21 1187
InstructGPT
LLMs之InstructGPT：《Training language models to follow instructions with human feedback》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-03 4179
​ LLMs之InstructGPT：《Training language models to follow instructions with human feedback》翻译与解读 目录 《Training language models to follow instructions with human feedback》翻译与解读 Abstract 1、Introduction引言 2、Related work相关工作 3、Methods a
【论文学习】InstructGPT：Training language models to follow instructions with human feedback
weixin_50833696的博客
03-22 700
把语言模型做大并不会使它们更好地遵循人类的意图。由于语言模型的输出的灵活性，它们可能生成一些不真实的、有毒的或是对用户没有帮助的输出。也就是说模型并不能和用户站在同一边。在这篇论文里，研究者通过以人类的反馈对模型进行微调来使得模型能够遵循用户的意图。从标注的prompts和通过OpenAI API提交的prompts里，研究者收集了一个标注者的演示的数据集，演示内容是想要模型学习到的一些行为，然后用这个数据集对GPT-3做微调。
[论文阅读]InstructGPT(Training language models to follow instructions with human feedback)
Harry的博客
03-31 857
语言模型（language models）越大大并不意味着它能更好地理解用户的意图。例如，大型语言模型生成输出不真实、有毒或根本对用户没有帮助。换句话说，这些模型没有准确的理解用户想法。在此论文中，展示了一种有效的方法通过微调使语言模型与用户在各种任务上的意图保持一致与人类反馈。从一组的提示和提示开始通过 OpenAI API 提交，我们收集了已标记的范文数据集所需的模型行为，我们用它来使用有监督的方法来微调 GPT-3学习。
论文笔记--Training language models to follow instructions with human feedback
weixin_38124427的博客
05-04 426
GPT系列论文阅读之InstructGPT——ChatGPT的前身
文献阅读：Training language models to follow instructions with human feedback
codename_cys的博客
02-26 3379
文献阅读：Training language models to follow instructions with human feedback
【论文笔记】Training language models to follow instructions with human feedback B部分
m0_48948682的博客
05-05 871
InstructGPT 技术报告 B部分 (第二次修改，对重要结论进行了标注)
你好 GPT-4o！
段智华的博客
05-15 1881
你好 GPT-4o！OpenAI公司宣布推出 GPT-4o，这是OpenAI的新旗舰模型，可以实时对音频、视觉和文本进行推理。GPT-4o（“o”代表“o​​mni”）是迈向更自然的人机交互的一步——它接受文本、音频、图像和视频的任意组合作为输入，并生成文本、音频和图像的任意组合输出。它可以在短至 232 毫秒的时间内响应音频输入，平均为 320 毫秒，与人类的响应时间相似（在新窗口中打开）在一次谈话中。
【文末附gpt升级方案】Stack Overflow与OpenAI合作引发的知识版权与用户权益争议
最新发布
蒲松龄
05-17 640
一、引言近年来，人工智能技术的迅猛发展给各行各业带来了革命性的变革。作为技术交流与问答的知名平台，Stack Overflow与人工智能领域的领军企业OpenAI的合作，无疑为双方带来了技术上的新机遇。然而，这一合作也引发了用户对于知识版权和个人数据权益的广泛关注和激烈争议。本文将围绕这一事件展开论述，探讨其中的法律问题、用户立场及合作对未来的影响。二、Stack Overflow与OpenAI的合作背景Stack Overflow作为全球最大的开发者社区和问答平台，拥有海量的用户生成内容（UGC）
多式联运奇迹：探索 GPT-4o 的尖端功能
weixin_46083783的博客
05-16 1273
GPT-4o，即 GPT-4 Omni，是 OpenAI 开发的领先的人工智能模型。该先进系统旨在完美处理文本、音频和视觉输入，使其成为真正的多模式。与其前身不同，GPT-4o 跨文本、视觉和音频进行端到端训练，使所有输入和输出都能由相同的处理器处理。神经网络。这种整体方法增强了其功能并促进更自然的交互。借助 GPT-4o，用户可以预期更高的参与度，因为它会生成文本、音频和图像输出的各种组合，反映人类交流。
GPT-4o 的商业化落地使用场景
文浩Marvin的博客
05-16 310
OpenAI 的 GPT-4o 是一款功能强大、应用广泛的自然语言处理模型。随着技术的不断进步和完善，我相信 GPT-4o 将会在未来带来更多惊喜，成为推动我们进入智慧化时代的重要力量。如果你还没有体验过 GPT-4o，不妨一试，或许它会成为你事业和生活中的得力助手哦！简而言之，GPT-4o 能说会道，简直是互联网世界的“超级助手”。这款令人惊叹的语言模型不仅在技术层面上令人钦佩，也在多种实际应用中展现了巨大的商业潜力。OpenAI 对 GPT-4o 的商业化应用也进行了深入的探索和实践。
self-instruct: aligning language model with self generated instructions
04-30
Self-instruct是一种用于对齐语言模型和自动生成的指令的方法。通过这种方法，我们可以训练语言模型自动生成指令，从而提高模型性能。 这种方法的基本思想是将模型训练成一个生成器，能够基于当前状态的描述来生成...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值