大模型整体流程：0)无监督预训练（庞大的通用语料）、1)二次无监督预训练（注入垂直领域知识）、2)有监督微调（问答对/指令对等）、3)奖励模型（排序后的数据集）、4)与人类对齐的强化训练PPO

已于 2023-07-10 14:15:44 修改
阅读量1.8k 收藏 5
点赞数
分类专栏： LLM 文章标签： 大模型
于 2023-06-10 18:55:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/131145214
版权
模型的知识获取始于预训练，通过无监督学习建立通用语料理解。接着，二次预训练引入垂直领域知识，然后有监督微调使模型能处理问答对和指令对。进一步，奖励模型利用排序数据集优化，最后通过与人类对齐的强化训练PPO进行精细调整，强调在指令微调中数据质量与丰富度优于数量。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

模型的知识来源于预训练阶段，指令微调目的是和人类指令进行对齐。在指令微调阶段，数据的质量与丰富度，远比数量更重要。这是最近一段时间，开源社区以及各个论文强调的一个结论。 

 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大语言模型原理与工程实践：数据瓶颈问题分析和解决方法原理与应用
AI天才研究院
06-25 699
在过去的几年里，随着深度学习技术的飞速发展，大规模语言模型（Large Language Models, LLMs）在自然语言处理（Natural Language Processing, NLP）领域取得了显著的进展。这些模型通过在大规模无标签文本数据上进行预训练，学习到了丰富的语言知识和常识，并在各种NLP任务中表现出色。然而，随着模型规模的不断扩大和应用场景的不断拓展，数据瓶颈问题日益凸显，成为制约大语言模型进一步发展的关键因素。
大语言模型应用指南：从人工智能的起源到大语言模型
AI天才研究院
06-27 1694
人工智能（Artificial Intelligence，AI）自诞生以来，一直是计算机科学领域的重要研究方向。早期的AI系统主要依赖于专家知识和规则库，通过逻辑推理和符号计算来解决问题。然而，这种基于规则的系统在处理复杂和多变的现实世界时，表现出了明显的局限性。随着数据量的爆炸式增长和计算能力的提升，研究者们开始探索基于数据驱动的机器学习方法，尤其是深度学习（Deep Learning），从而引发了AI领域的革命性进展。
无监督模型 训练过程_监督使用训练模型
weixin_26632369的博客
07-21 1580
无监督模型 训练过程Machine Learning, Artificial Intelligence, and Deep Learning are some of the most complex, yet highly demanded fields of expertise today. There are innumerable resources and tools to work in...
为什么预训练大模型要使用无监督学习的方式？
m0_59164520的博客
11-17 1602
预训练一般采用无监督的方式进行，而微调一般采用监督学习的方式进行说到预训练大模型，首先就要先了解一下pre-training(预训练) 和 fine-tuning(微调)。什么是预训练？比如说你想做一个图像识别的大模型，这时你需要使用某种神经网络架构(比如Transformer)来设计一个神经网络，然后通过某种初始化方法对神经网络参数进行初始化。然后，你就可以使用大量的训练数据对模型进行训练，也就是不断的调整其参数；直到损失差不断的降低，然后达到一个合适的值；
基于LoRA的Llama 2二次预训练实践：高效低成本的大模型领域适配
最新发布
2501_91383091的博客
04-21 1160
Llama 2是Meta于2023年推出的开源大语言模型家族，参数量涵盖7B/13B/70B。优势：更强的上下文理解、更低的推理资源需求、支持商业用途。局限性：通用预训练导致领域知识不足。
大模型之Bloom&LLAMA----Pre-Training(二次预训练)
lovely_yoshino的博客
07-31 1万+
随着chatgpt的爆火，最近也有很多大模型在不断地出现，比如说系列以及以LLAMA为基础的和。这些模型相较于chatglm来说，更加具有发展前景，因为其是完全可商用，并可以不断迭代更新的。最近作者在跟着hiyouga大佬的进行学习，相较于其他的项目来说，该项目是非常适合跟着学习并入门的。
大模型强化学习之奖励模型的训练
09-02 5139
详细讲述了如何根据InstructGPT论文来实现一个奖励模型
什么是无监督的大规模预训练模型呢
C_19870的博客
08-14 1249
无监督的大规模预训练模型是其中的一项重要技术，它利用海量数据进行自我学习，为机器赋予了更高层次的理解和表达能力。无监督预训练模型的出现填补了这一空白，它通过利用未标记的数据进行预训练，从而为后续任务提供了更好的初始化参数和语义表示。通过对环境中未标记数据的学习，模型可以构建更好的状态表示和价值函数，进而优化决策策略，提高智能体的学习效率和性能。可解释性与透明度：由于无监督预训练模型的复杂性，模型的结果和决策可能缺乏可解释性和透明度，这对一些敏感领域的应用提出了挑战。什么是无监督的大规模预训练模型？
LLM系列(0)：行业大模型落地服务在全业务场景的应用与探索【大模型智能问答、NL2SQL、文档智能分析智能生成、AI智能体决策等】
丨汀、的博客
04-26 1393
行业大模型落地服务：在全业务场景的应用与探索【大模型智能问答、NL2SQL、文档智能分析智能生成、AI智能体决策等】
大语言模型进化论：从达尔文到AI的启示与展望
shiter编写程序的艺术
03-08 348
根据查尔斯·罗伯特·达尔文(Charles Robert Darwin)提出进化论的例子。进化论被誉为19世纪自然科学的三大发现之一。事实上，进化论的思想绝非达尔文的原创，但在该思想出现之前，达尔文一直在思考“到底是什么导致了进化？”这个问题，而且读了很多杂七杂八的书。在读《地质学原理》的时候，他受到启发，原来微小的变异可以逐渐累积成巨大的变化（遗传变异）；在读《人口学原理》的时候，他意识到，过度繁殖使得空间、食物等对每一个个体来说变得稀缺，而资源的有限性会加速物种之间的斗争（过度繁殖和生存斗争）；
详解大模型PPO、DPO的训练过程
Antai_ZHU的博客
07-10 1万+
AI因你而升温，记得加个星标哦！大家好，我是泰哥。距离上次写技术贴已经1年有余，这一年当中算法技术的发展可以说是日新月异。今天和大家聊聊大模型的训练的三个阶段，分别为有监督学习（SFT）、奖励模型训练（RW）与强化学习（PPO）阶段，我对以上的训练过程会加上一些自己的理解。GPT使用Transformer decoder部分作为语言模型的框架，并将decoder中的Multi-head Attention层删除，其结构和计算过程如上图。
【NLP相关】基于现有的预训练模型使用领域语料二次预训练
WeLearnNLP
03-05 2661
在本篇博客中，我们使用的预训练模型是 BERT（Bidirectional Encoder Representations from Transformers）。BERT 是一种基于 Transformer 的预训练模型，由 Google 团队开发。它在多个自然语言处理任务上取得了最先进的结果，例如文本分类、命名实体识别和问答系统等。BERT 模型是一种双向的 Transformer 模型，能够有效地处理自然语言序列。它将文本输入嵌入到向量空间中，并在此基础上进行自监督训练，以学习通用的语言表示。
大模型系列｜垂直大模型的几种训练策略（一）
热门推荐
素质云笔记
08-03 1万+
垂直行业大模型的几种训练策略
RM奖励模型
AI生成式技术曾小健
06-16 3494
本篇将介绍InstructGPT的RM过程，也就是reward model的训练，废话不多说，直接上干货。
【论文笔记】基于预训练模型的持续学习（Continual Learning）（增量学习，Incremental Learning）
qq_43456016的博客
04-21 6306
持续学习（Continual Learning, CL）旨在使模型在学习新知识的同时能够保留原来的知识信息了，然而现实任务中，模型并不能很好地保留原始信息，这也就是常说的灾害性遗忘（Catastrophic forgetting）问题。传统的CL方法需要从头开始训练模型（从随机初始化参数开始训练），目前基于大规模数据训练得到的预训练模型为持续学习带来了新的研究思路，预训练模型鲁棒的泛化性给予新任务学习较为成熟的参数，也因此基于预训练模型的CL方法已逐渐成为研究热点。
大模型二次开发基本思路
chengxuyuanyy的博客
08-06 1362
(Continue PreTraining)增量预训练在大模型整个流程中，增量预训练是属于后期预训练（Post-pretraining）的范畴。Post-pretraining（后期预训练）是一种在模型的初始预训练和最终微调之间进行的训练方法。这种方法通常用于进一步适应模型以处理特定类型的数据或任务。以下是详细介绍，参考了之前对SFT和RLHF的描述方式：1、后期预训练（Post-pretraining）
【ICML2023】POUF:面向提示的大型预训练模型无监督微调
数据派THU
05-23 410
来源：专知 本文为论文介绍，建议阅读5分钟 通过提示，大规模预训练模型变得更具表达力和威力，在近年来受到了显著的关注。通过提示，大规模预训练模型变得更具表达力和威力，在近年来受到了显著的关注。尽管这些大型模型具有零射击能力，但总的来说，仍需要标签数据来使它们适应下游任务。为了克服这个关键的限制，我们提出了一个无监督的微调框架，直接在未标记的目标数据上微调模型或提示。我们演示了如何通过对齐从提示和目...
探索大语言模型垂直化训练技术和应用-陈运文
DatagrandRS的博客
03-20 2305
产品化的是请垂直领域的专家，针对每项垂直任务，来设计用于生成 prompt 的产品，由专家编写大量不同的 prompt，评估或输出好的 prompt 后，进行片段切分，形成相应的产品，这对未来 AIGC 任务会起到很好的作用。由上往下，当计算机做一个长文档的规划协作生成的内容，我们让相应的其他模型做一个生成后，引入分类模型，判断生成段落的上下文和相关性，把其他的模型的结果串连在当前的模型当中，能够进行迭代和顺序的循环调用，这样就能够突破现有当前大语言模型在特别长的文本当中生成的短板，能够提升它的写作效能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值