论文阅读-Training a Helpful and Harmless Assistant withReinforcement Learning from Human Feedback

已于 2023-03-23 14:33:08 修改
阅读量1.6k 收藏 7
点赞数 3
分类专栏： 读论文 文章标签： 人工智能 深度学习 神经网络
于 2023-03-23 09:58:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43687860/article/details/129724002
版权
该论文提出了一种使用强化学习从人类反馈（RLHF）训练语言模型的方法，旨在创建既有效又无害的AI助手。研究通过多轮对话数据收集，迭代式在线RLHF更新模型，提升了模型的性能和安全性。实验表明，这种方法可以提高模型在各种任务上的表现，特别是在大模型中，对齐人类偏好后的效果更佳。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
海拉鲁的小厨娘
关注
专栏目录
订阅专栏
training a helpful and harmless assistant with refinforcement learning from human feedback
liguandong
03-26 802
preference model包括了从13m到52b的模型，所有的模型有三个阶段的训练，1.大量语料的预训练，2.在reddit等回答网站上搜集的混合对比数据，也就说对同一个问题，回答之间是可以构造样本数据对的（好的回答不好的回答），学习率0.1，token 1024；右图横轴是对话的轮数，纵轴是精度，可见随着对话轮数的增多，精度是下降的，但是上下文的context的增多，也有可能在多轮时会稍好一些，因为是训练的二分类模型，即判断结果的好坏，其实结果是可以通过精度量化的。
RLHF：基于人类反馈（Human Feedback）对语言模型进行强化学习【Reinforcement Learning from Human Feedback】
u013250861的博客
12-30 1万+
因此，训练阶段，如果直接用人的偏好（或者说人的反馈）来对模型整体的输出结果计算reward或loss，显然是要比上面传统的“给定上下文，预测下一个词”的损失函数合理的多。基于这个思想，便引出了本文要讨论的对象——为了能刻画模型输出的整体质量（而不是单个词），人们往往用BLEU或ROUGH等评价指标来刻画模型输出与人类偏好的相近程度，但这也仅仅是在评价的层面，模型在训练的时候是见不到这些人类真实的偏好的。取得了巨大的成功，诞生了不少有意思的AI应用，例如AI写小说，AI写代码，AI画图甚至AI做视频等。
【论文阅读】Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback
orangerfun的博客
05-05 578
作者使用喜好建模和基于人工反馈的强化学习去微调语言模型，使其像助力一样有帮助的和无害的。作者发现这种对齐式的训练几乎能够提高所有NLP任务上的表现，并且完全能够兼容一些特殊任务，如使用python编码，文本摘要等。我们使用了一种迭代式的在线模型训练方式，每周都会用新的人工反馈数据来更新奖励模型和强化学习策略（个人理解：人工标注–>训练一个模型–>产生新数据–>基于产生的数据人工标注–>新数据再训练模型…如此迭代下去），这非常有效的改善了我们的数据集和模型。
基于人类反馈的强化学习(RLHF) 理论
消极的人永远是对的，积极的人选择勇往直前
05-07 1944
ChatGPT 背后的“功臣”——RLHF 学习笔记
ChatGPT强势爆红，背后的技术原理是？一文轻松搞懂！
weixin_52437323的博客
02-28 973
chatgpt原理
【ChatGPT】从人类反馈 (RLHF) 中进行强化学习 | Illustrating Reinforcement Learning from Human Feedback (RLHF)
程序员光剑
04-07 2万+
OpenAI 推出的 ChatGPT 对话模型掀起了新的 AI 热潮，它面对多种多样的问题对答如流，似乎已经打破了机器和人的边界。这一工作的背后是大型语言模型 (Large Language Model，LLM) 生成领域的新训练范式：RLHF (Reinforcement Learning from Human Feedback) ，即以强化学习方式依据人类反馈优化语言模型。过去几年里各种 LLM 根据人类输入提示 (prompt) 生成多样化文本的能力令人印象深刻。
用好ChatGPT之准确分配角色
热门推荐
herosunly的博客
04-06 15万+
本文介绍核心内容为用好ChatGPT之准确分配角色，希望对学习和使用ChatGPT的同学们有所帮助。为了兼顾质量和速度，本专栏的更新频率为一周一到两更。 文章目录 1. 前言 2. 基本概念讲解 3. 实战案例 3.1 案例展示 3.2 范式表示 4. 附录 4. 附录
百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索
最新发布
丨汀、的博客
07-08 294
百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索
ChatGPT的朋友们：大语言模型经典论文一次读到吐
zenRRan的博客
04-11 621
知乎：Ostrich职位：阿里巴巴 算法工程师原文：https://zhuanlan.zhihu.com/p/620360553要说2023刷屏最多的词条，ChatGPT可以说是无出其右。到最近的GPT-4，技术的革新俨然已呈现破圈之势，从学术圈到工业界再到资本圈，同时也真切逐步影响到普通人的日常生活与工作。坦白来讲，对于大语言模型生成相关的工作，个人长期以来持保守态度，认为这个方向更多的是一种深...
ChatGPT背后算法—RLHF都有哪些必读论文
AITIME_HY的博客
01-12 4370
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！ChatGPT有多火？用一个通俗易懂的话来表达，ChatGPT就是爱豆中的鹿晗、蔡徐坤、杨超越；脱口秀界的李诞、徐志胜；足球界的梅西、C罗、姆巴佩...前段时间，HuggingFace发表了一篇博客，详细讲解了ChatGPT背后的技术原理—RLHF。RLHF，全称：Reinforcement Learning from Human Feed...
基于人类反馈的强化学习(RLHF)[译]
yujianmin1990的专栏
02-24 4692
一篇关于RLHF（Reinforcement Learning from Human Feedback）的，翻过来以飨读者。
RLHF的替代之DPO原理解析：从RLHF、Claude的RAILF到DPO、Zephyr
结构之法 算法之道
11-06 1万+
今年5月份，斯坦福的一些研究者提出了RLHF的替代算法：直接偏好优化(Direct Preference Optimization，简称DPO)，其对应论文为《那其与ChatGPT所用的RLHF有何本质区别呢，简言之RLHF将奖励模型拟合到人类偏好数据集上，然后使用RL方法比如PPO算法优化语言模型的策略，以输出可以获得高奖励的responses(同时不会偏离原始SFT模型太远)
OpenAI独家绝技RLHF被开源DPO超越？让RLHF彻底傻瓜化！
chaishen10000的专栏
09-06 787
实验表明了 DPO 可以微调 LMs 以对齐人类偏好，甚至比现有方法更好。值得注意的是，用 DPO 进行微调在控制生成结果的情感以及改善摘要和单轮对话的响应质量方面表现出更好的能力，同时在实现和训练时的难度大大降低。
【通览一百个大模型】Anthropic LLM（Anthropic）
夏栀的博客
07-08 988
主要介绍Anthropic LLM大模型
偏好对齐RLHF-OpenAI·DeepMind·Anthropic对比分析（二）
2401_82469710的博客
01-21 819
粗略看完以上3家超长无比的系列RLHF论文，结合OpenAI对RM模型的一些观点。我们来讨论下文首问题，感悟很玄学！！不一定靠谱！！仅提供一种思路~
大模型的三大法宝：Finetune, Prompt Engineering, Reward
Baihai_IDP的博客
04-17 2376
虽然许多LLM目前是专有的（proprietary），只能通过API访问，但开源数据集、学术论文甚至开源模型代码的出现使技术团队能够用在他们特定的领域和应用程序。本文简明介绍了最大化挖掘语言模型潜力的三大法宝——Finetune, Prompt Engineering和RLHF——的基本概念，并指出了大模型微调面临的工具层面的挑战。，这为将来出现更多的中型模型提供了可能性。选择合适的模型进行微调需要团队不仅考虑特定领域中可用数据的数量，还要评估模型的（开源）许可证与其具体要求的兼容性。
吴恩达ChatGPT网课笔记Prompt Engineering——训练ChatGPT前请先训练自己
qq1406433326
05-04 4654
通过修改提示，可以让生成一个更适用于自己业务中特定团队的摘要。下面的例子是需要一个运输和产品交付有关的摘要要求。
npm WARN rollback Rolling back node-pre-gyp@0.12.0 failed (this is probably harmless)怎么办
04-29
这个警告表示回滚 node-pre-gyp 失败，但可能不会对程序造成实质性的影响，可以忽略它。如果你的程序仍然能够正常运行，那么不需要担心这个警告。如果程序出现问题，可以尝试重新安装 node-pre-gyp 或者更新它到最新...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值