ChatGPT技术原理解析：从RL之PPO算法、RLHF到GPT4、instructGPT

最新推荐文章于 2024-09-01 15:02:21 发布
最新推荐文章于 2024-09-01 15:02:21 发布
阅读量181 收藏
点赞数
分类专栏： LLM 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/131971234
版权
本文详细解析了ChatGPT背后的关键技术，从强化学习的基础如策略梯度、TRPO、PPO算法，到RLHF（基于人类偏好的深度强化学习）的应用。文章介绍了GPT系列模型的演进，从GPT到GPT4，并探讨了instructGPT和ChatGPT的训练过程，特别是如何通过PPO算法和RLHF提高模型的对话能力。此外，还讨论了prompt学习、思维链技术以及多模态的引入。通过这一系列技术，ChatGPT实现了与人类的自然流畅对话，其潜力在不断引发业界关注。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
RLHF的替代之DPO原理解析：从RLHF、Claude的RAILF到DPO、Zephyr
结构之法 算法之道
11-06 1万+
今年5月份，斯坦福的一些研究者提出了RLHF的替代算法：直接偏好优化(Direct Preference Optimization，简称DPO)，其对应论文为《那其与ChatGPT所用的RLHF有何本质区别呢，简言之RLHF将奖励模型拟合到人类偏好数据集上，然后使用RL方法比如PPO算法优化语言模型的策略，以输出可以获得高奖励的responses(同时不会偏离原始SFT模型太远)
从零实现带RLHF的类ChatGPT：逐行解析微软DeepSpeed Chat的源码
结构之法 算法之道
09-17 8590
如此文所述，微软开源的DeepSpeed Chat(简称DSC)实现的不错，会给你一个完整而通透的“PPO算法/RLHF”的代码实现全流程，好的资料可以让你事半功抠完它的关键代码后，你会发现和之前本博客内另一篇写的原理部分都一一对应起来了(ChatGPT技术原理解析，只有懂原理才能更好的理解实现或实际实现，特别是该文的第三部分)，而把论文、原理/算法、公式、代码一一对应，可以让你的理解有个质变微软开源的DeepSpeed Chat ：一键式RLHF训练，可以用于自己训练ChatGPT中文版。
抱抱脸：ChatGPT背后的算法——RLHF | 附12篇RLHF必刷论文
夕小瑶科技说
12-18 1万+
文 | 卖萌酱大家好，我是卖萌酱。前几天，抱抱脸公司（HuggingFace）发表了一篇博客[1]，详细讲解了ChatGPT背后的技术原理——RLHF。笔者读过之后，觉得讲解的还是蛮清晰的，因此提炼了一下核心脉络，希望给对ChatGPT技术原理感兴趣的小伙伴带来帮助。此外，文末整理了几篇关于 RLHF 最热门的12篇必读论文，卖萌酱打包好挂在公众号后台了，感兴趣的小伙伴可以在公众号“夕小瑶的卖萌屋...
ChatGPT原理剖析：InstructGPT详解
Chaos的博客
03-13 2675
在许多应用中，人们需要GPT-3模型完成一些特定的任务，传统的方法是通过人工标注数据集来训练模型，在特定任务上进行微调。然而，这种方法需要大量的人力和时间，并且可能存在标注数据集的不准确性。为了解决这些问题，OpenAI提出了InstructGPT模型。InstructGPT的原理是利用人类的反馈对语言模型进行微调，使其更能符合用户的意图和指示。通过指令-回答对的数据集和指令-评价对的数据集，InstructGPT可以学习如何根据不同的指令生成更有用、更真实、更友好的输出。
详解带RLHF的类ChatGPT：从TRL、ChatLLaMA到ColossalChat、DSC
结构之法 算法之道
04-06 2万+
如果未提供模板，则使用默认模板artifacts/generate_rewards.py，注：所有模板都必须保存在一个名为 .json 的 JSON 文件中templates.json。其中列表包含多个dictionaries，每个dictionary 对应一个数据样本，建议使用超过 1000 个数据样本来进行对actor的训练。在获得最终模型权重后，还可通过量化降低推理硬件成本，并启动在线推理服务，仅需单张约 4GB 显存的 GPU 即可完成 70 亿参数模型推理服务部署。
Transformer通俗笔记：从Word2Vec、Seq2Seq逐步理解到GPT、BERT
热门推荐
结构之法 算法之道
10-23 8万+
我在写上一篇博客《》时，有读者在文章下面评论道：“july大神，请问BERT的通俗理解还做吗？”，我当时给他发了张俊林老师的BERT文章，所以没太在意。直到今天早上，刷到CSDN上一篇讲BERT的文章，号称一文读懂，我读下来之后，假定我是初学者，读不懂。（这是），再比如国内张俊林老师的这篇《》，然后你会发现几乎网上关于Transformer/BERT的文章无外乎是以下这几种情况。
GPT系列发展及技术：GPT1到GPT3的发展，InstructGPT的RLHF流程，GPT４
qq_40910191的博客
10-23 496
GPT系列的这些模型基于自监督学习，利用大规模文本学习一个语言模型。在此基础上，针对每一个NLP 任务，用有限的标注数据进行微调。这种迁移学习技术推动了 NLP 发展，各项任务都上了一个大台阶。**更为重要的是，产生的“预训练+微调”技术，可用一套技术解决不同语言和不同的 NLP 任务，有效地提升了开发效率。这标志着 NLP 进入到工业化实施阶段。 GPT系列的衍生使得生成类任务面临的难题，因此本文按照如下时间线，主要针对GPT系列的文章进行深入讲解。主要对Transformer、GPT1-GPT3、I
LLM大模型技术实战9：ChatGPT背后的功臣，RLHF技术解析
2401_84495872的博客
05-05 1057
ChatGPT区别于其他模型的亮点以及没法复现的原因：独特的基础模型：openai雇佣了上百号人产生了几万条打分数据，RLHF的本质类似于激发了基础模型的能力，基础模型已经很好了，只不过RLHF通过很少的计算量把模型能力激发出来了；优秀的Reward模型：收集数据的时候，数据的质检很重要，这些数据需要真的反应你的想法，尽可能少的噪声；01OpenAI 推出的 ChatGPT 对话模型掀起了新的 AI 热潮，它面对多种多样的问题对答如流，似乎已经打破了机器和人的边界。
【RL】(task5)PPO算法和代码实现
发现问题，并解决问题，批判性思维
01-30 1006
分为三个步骤 step1 我做你看：有监督学习，从训练集中挑出一批prompt，人工对prompt写答案。其实就是构造sft数据集进行微调。 step2 你做我看：奖励模型训练，这次不人工写答案了，而是让GPT或其他大模型给出几个候选答案，人工对其质量排序，Reward model学习一个打分器；这个让机器学习人类偏好的过程就是【对齐】，但可能会导致胡说八道，可以通过KL Divergence等方法解决。 instructGPT中奖励模型的损失函数如下，其中 rθ(x,y) 是奖励模型对提示x和完成y的标量
ChatGPT 是如何工作的：从预训练到 RLHF
DT程序员的博客
07-30 1391
介绍了ChatGPT 是如何工作的，并从预训练到 RLHF
ChatGPT作者John Schulman：通往TruthGPT之路
OneFlow深度学习框架
05-06 1万+
大型语言模型（LLM）有一个众所周知的“硬伤”——它们经常会一本正经编造貌似真实的内容。OpenAI团队希望通过改进强化学习反馈步骤“原生地”阻止神经网络产生幻觉，OpenAI首席科学家Ilya Sutskever对此胸有成竹。作为ChatGPT项目的主要负责人以及OpenAI强化学习团队的领导者，John Schulman在最近的Berkeley EEC...
chatgpt中的强化学习 PPO
weixin_38949258的博客
04-06 3545
本该到此结束，但是上述实现的时候其实是把生成的每一步的奖励都使用统一的句子级reward，但该代码其实也额外按照每个token来计算奖励值的，为了获取每个token的奖励，我们在生成模型的隐层表示上，多加一个线性层，映射到一维，作为每个状态的预测奖励值。类似的，在文本生成中我们也可以用蒙特卡洛方法来估计一个模型的状态价值。假如我们只采样到了s1和s2，没有采样到s3，由于7和3都是正向奖励，s1和s2的训练后生成的概率都会变大，且s1的概率变的更大，这看似合理，但是s3是未参与训练的，它的概率反而减小了。
大语言模型原理与工程实践：RLHF 实战框架
光剑书架上的书
06-21 462
大语言模型原理与工程实践：RLHF 实战框架 1. 背景介绍 1.1 人工智能的崛起 人工智能(AI)技术在过去几年中取得了令人瞩目的进展,尤其是在自然语言处理(NLP)和计算机视觉(CV)等领域。大型语言模型(LLM)的出现,
深度学习速通系列:Bert模型vs大型语言模型（LLM）
最新发布
Ven%的博客
09-01 776
选择使用Bert模型、LLaMA模型或ChatGLM模型等大型语言模型（LLM）时，应根据具体的应用场景、任务需求、资源限制和预期目标来决定。
Language Models are Unsupervised Multitask Learners
靓仔沾点健忘症，写给时间下游的自己
08-29 1028
机器学习系统现在通过结合使用大型数据集、高容量模型和监督学习(Krizhevsky et al.， 2012) (Sutskever et al.， 2014) (Amodei et al.， 2016)，在训练任务上表现出色(预期)。然而，这些系统很脆弱，对数据分布(Recht等人，2018)和任务规范(Kirkpatrick等人，2017)的微小变化很敏感。目前的系统更倾向于由狭隘的专家组成，而不是有能力的通才。
论文速读|大型语言模型作为通用模式机器
2301_81924597的博客
09-01 400
本研究探讨了大型语言模型（LLMs）作为通用模式机器的潜力，特别是在机器人技术领域。研究发现，LLMs 能够在没有额外训练的情况下，通过上下文学习完成复杂的序列模式，包括数字序列和更复杂的空间模式，如 Abstraction and Reasoning Corpus（ARC）中的任务。这表明 LLMs 可以作为通用序列模型器，并在机器人技术中应用于序列提升、轨迹优化和策略发现。
【Python机器学习】NLP词频背后的含义——隐性语义分析
weixin_39407597的博客
08-29 977
在LSA中提取出词的含义的数学方法称为奇异值分解（SVD）。SVD来自线性代数，是LSA用来创建类似上面的词-主题矩阵中的向量的数学工具。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值