《Training language models to follow instructions》论文解读--训练语言模型遵循人类反馈的指令

已于 2024-01-11 12:31:22 修改
阅读量1.2k 收藏 19
点赞数 21
分类专栏： AI笔记 文章标签： 语言模型 人工智能 自然语言处理
于 2024-01-10 11:36:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/andeyeluguo/article/details/135499165
版权

目录

1摘要

2介绍

方法及实验细节

3.1高层次方法论

3.2数据集

3.3任务

3.4人体数据收集

 3.5模型

3.6评价

4 结果

4.1 API分布结果

4.2公共NLP数据集的结果

4.3定性结果

问题

1.什么是rm分数

更多资料

1摘要

使语言模型更大并不能使它们更好地遵循用户的意图。例如，大型语言模型可能生成不真实的、有害的或对用户没有帮助的输出。换句话说，这些模型与它们的用户并不一致。在本文中，我们展示了一种方法，通过对人类反馈进行微调（核心idea），在广泛的任务中使语言模型与用户意图保持一致。从一组标注器编写的提示和通过OpenAI API提交的提示开始，我们收集了一个标注器演示所需模型行为的数据集，我们使用它来使用监督学习对GPT-3进行微调（步骤一）。然后我们收集模型输出排名的数据集，我们使用从人类反馈中使用强化学习来进一步微调（步骤二）这个监督模型。我们将生成的模型称为InstructGPT（名称）。在我们的提示分布的人工评估中，尽管参数少了100倍，但来自13 b参数的Inst

了解本专栏 订阅专栏 解锁全文 超级会员免费看
andeyeluguo
关注
专栏目录
订阅专栏
Training language models to follow instructions with human feedback
Young, Simple, Naive
04-02 345
InstructGPT: SFT + RLHF with PPO（目标函数：RM - KL+PTX objective）
Training language models to follow instructions with human feedback翻译
nopSled
12-08 4420
可以通过“提示”并给定一些任务样例作为输入，大型语言模型（LMS）可以被用来执行一系列自然语言处理（NLP）任务。但是，这些模型经常表现出一些不期望行为，例如伪造事实，生成偏见或有毒文本，或者根本不遵守用户指令。这是因为用于训练大型LM的目标（token预测）与“遵守对用户有帮助，且安全的指令”这一目标不同。因此，我们认为语言建模的目标是未被对齐的。避免这些意外行为对于在数百个应用中部署和使用的语言模型尤其重要。我们通过让语言模型满足用户的意图来训练。
#Paper Reading# Training language models to follow instructions with human feedback
John159151的专栏
02-21 2924
论文大体内容 本文主要提出了GPT-3.5（InstructGPT）模型，通过使用人类反馈的数据集进行监督学习（RLHF，即reinforcement learning from human feedback），对GPT模型进行Fine-tune，来达到预期效果。
【论文笔记】Training language models to follow instructions with human feedback B部分
m0_48948682的博客
05-05 1105
InstructGPT 技术报告 B部分 (第二次修改，对重要结论进行了标注)
【论文笔记】Training language models to follow instructions with human feedback A部分
m0_48948682的博客
04-30 1443
InstructGPT 技术报告 A部分
《Training language models to follow instructions with human feedback》--中文翻译
11-08 284
通过给定一些输入的示例，大语言模型可以通过提示完成一系列NLP任务。但是，这些模型往往表现出意想不到的行为，编造事实、生成有偏见或有毒的文本，或者根本不遵循用户指令。这是因为最近许多大型LMs预测互联网网页上的下一个token所使用的语言建模目标与“帮助和安全地遵循用户的指示”的目标不同。因此，我们认为语言建模的目标是错位的。避免这些意外行为对于部署和使用在数百个应用程序中的语言模型来说尤其重要。
Training language models to follow instructions论文精读
01-13
《训练语言模型遵循指令》论文精读：理解InstructGPT 随着人工智能技术的发展，大模型在自然语言处理（NLP）领域的应用越来越广泛。然而，单纯增大模型规模并不一定能提高其遵循用户意图的能力。例如，大型语言模型...
Training language models to follow instructions.zip
06-02
"Training language models to follow instructions with human feedback.pdf"很可能详细介绍了如何利用人类反馈改进模型的性能。这种方法可以显著提高模型的准确性和实用性，因为人类的判断提供了比机器学习算法更...
论文笔记--Training language models to follow instructions with human feedback
weixin_38124427的博客
05-04 590
GPT系列论文阅读之InstructGPT——ChatGPT的前身
Training language models to follow instructions with human feedback 论文阅读
a_blade_of_grass的博客
06-14 985
语言模型越大并不意味着它能更好的理解用户的意图，因此在这篇论文中，展示了根据人的反馈对模型进行微调，使得语言模型能够在各种人物上更好的理解用户的意图。在评估中，1.3B参数的InstructGPT模型的输出比175B GPT-3的输出更受欢迎，尽管参数少了100倍。此外，InstructGPT模型虽然在公共的数据上的效果有所降低，但是真实性和减少有害方面生成的能力提升。论文表明，尽管InstructGPT仍然会犯一些简单的错误，但根据人类反馈进行微调是能够理解人类意图的一个有效的方式和方向。
四个大模型轻量级微调训练框架：兼看PPT转Markdown工具
人工智能曾小健
07-28 1242
本文主要看了看当前的四个微调训练框架以及文档智能工具-PPT转Markdown工具的一些实现逻辑，实现都很简单。大家对微调、文档处理等有需求的，可以跑一跑，会有一定收获。
【NLP练级之路 第三篇】Beyond Prompting: Making Pre-trained Language Models Better Zero-shot Learners by Clust
qq_43743819的博客
04-09 348
现在的zero-shot TC的研究要么是有繁杂的人体工程或复杂的self-training过程，阻碍了它们在新情况下的应用。在这一工作中，我们证明了在PLMS嵌入空间中对文本进行聚类可以简单地改进零镜头文本分类。【聚类的方法】在使用类名初始化聚类位置和形状后，我们用贝叶斯-高斯混合模型对未标记文本进行拟合。尽管简单，但该方法在主题和情感分类数据集上都取得了优越或可比的性能，并且在非平衡数据集上的性能显著优于以往的工作。
10、InstructGPT：Training language models to follow instructions with human feedback
小白的博客
02-21 1305
InstructGPT
NlPS2022 | 自然语言处理相关论文分类整理
zenRRan的博客
10-11 2219
每天给你送来NLP技术干货！ © 作者｜王晓磊 机构｜中国人民大学高瓴人工智能学院研究方向 | 对话式信息获取来自 | RUC AI Box本文从NeurlPS 2022 的2000多篇接收论文中筛选出了与自然语言处理相关的论文200多篇，并按照研究主题进行分类整理，以供参考。导读：NeurIPS 2022 是 CCF A 类会议，人工智能领域方向的顶级国际会议之一。第36届神经信息处理...
比 GPT-3 更擅长理解用户意图，OpenAI发布 InstructGPT
AI科技大本营
02-09 2874
作者 | 青苹果来源 | 数据实战派近日，OpenAI 发布了一项令人瞩目的研究—— InstructGPT。在这项研究中，相比 GPT-3 而言，OpenAI 采用对齐研究（alignm...
掌握AIStarter新功能，轻松关闭广告享受纯净浏览体验
ai_xiaogui的博客
11-07 581
AIStarter的广告拦截器是一项集成在平台内部的新特性，它允许用户根据自己的喜好设置广告过滤规则。无论是烦人的横幅广告、视频前贴片广告还是弹窗广告，都可以通过简单的设置被有效屏蔽。这项功能不仅提升了用户的浏览效率，还保护了用户的隐私安全。在数字时代，拥有一个清爽无干扰的网络环境对每个人都至关重要。AIStarter的广告拦截器正是为此而设计，它帮助用户夺回了对个人浏览体验的控制权。现在就尝试启用这项功能，开始享受一个更加干净、高效的上网体验吧！不要广告！关闭广告！
探索App Intents：让你的应用与Siri无缝互动的新方式
最新发布
jixn的博客
11-09 2786
苹果推出了一个新框架——App Intents，使开发者可以在iOS 18.2+、macOS 15.2+等平台上集成Siri和Apple Intelligence，实现对应用内容的读取和操作。App Intents使应用的功能和内容能无缝融入系统体验中，例如Siri、Spotlight搜索、快捷指令和小组件，让用户可以轻松访问应用核心功能，并获得更智能的Siri帮助。：表示应用内容，如照片、联系人或文件。：用户可以对 Siri 发出指令，例如“查找我的航班”或“添加待办事项”，Siri直接与应用交互。
一次薅国家超算平台的记录
weixin_55179972的博客
11-07 407
参与 谁是下一个“AI”跃人 -AI体验推介活动，赢取千元算力券！（https://www.scnet.cn/home/subject/modular/index270.html）2. Clone开源的Llama3 Chinese （https://github.com/LlamaFamily/Llama-Chinese）活动名称主题：国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动。其中位置1，2替换为商品基模型和训练出来的微调模型。模型改为商城下载的模型。2、运行的过程记录。
在后LLM时代，关于新一代智能体的思考
langboat_mengzi的博客
11-07 910
同时，新一代智能体工具平台应具备与基座LLM保持独立的多层次智能体系，无需依赖单一大模型或者技术供应商，如此一来，有利于实现模块化开发，具备较强的可维护性，同时还能够建立良好的生态，促进智能体的繁荣发展。而“慢思考”是指在基础模型的基础上，当处理一些复杂指令时，智能体将需求拆解成多个子任务，会调用不同的工具来完成任务，并对结果进行反思、确认，这一过程体现了一种类似于人类思维的“系统 2”的过程，即 step-by-step、可解释的且能导致更准确结果的过程。这些能力对于智能体具有重要的作用和价值。
aligning language models to follow instructions
05-08
自然语言处理技术日益发展，就如何让机器能够理解和执行人类指令这一问题，成为了研究的重要方向。这涉及到如何将自然语言和机器学习模型有效地融合，从而让机器能够通过自然语言理解人类的指令，并按照指令进行行动。 据目前的研究表明，最有效的方法是对语言模型进行训练，通过数据驱动的方法，让机器能够理解人类的指令，从而完成特定的任务。要实现这一目标，需要采用一定的语言模型和机器学习算法。 其中，最流行的算法包括序列标注、文本生成、神经机器翻译等。这些算法都能通过对文本进行深度学习来训练模型，从而让机器能够更好地理解指令和完成任务。 然而，一些挑战依然存在。首先，不同的语言之间存在巨大的差异，因此需要针对不同的语言训练不同的模型。其次，语言模型需要和任务场景建立紧密的联系，才能更好地理解和执行指令。 最后，持续的技术进步也需要不断地改进和更新语言模型，以保证在不同的场景下，机器能够更好地理解和执行人类的指令。这意味着，对数据的收集和处理，对算法和模型的优化，都需要不断地实践和创新。 总之，针对语言模型的训练和优化，是实现机器按照人类指令执行的关键。只有通过不断的探索和实践，才能让机器更好地理解我们的指令，并更加有效地完成任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

andeyeluguo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值