【斯坦福cs324w】中译版 大模型学习笔记六 LLM的模型训练

最新推荐文章于 2024-08-28 18:49:37 发布
最新推荐文章于 2024-08-28 18:49:37 发布
阅读量365 收藏 2
点赞数
分类专栏： # LLM 文章标签： 学习 笔记 人工智能 自然语言处理 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61819793/article/details/132969649
版权

文章目录


模型训练介绍分为目标函数和优化算法两个部分

目标函数

不同语言模型使用不同种类的目标函数
讨论Decoder-only、Encoder-only、Encoder-Decoder三种模型的目标函数

Decoder-only模型

特点
计算token的单向上下文嵌入，即定义了一个条件分布 p ( x i ∣ x 1 : i − 1 ) p(x_i|x_{1:i-1}) p(xi​∣x1:i−1​)
具体而言
image.png
训练思想
使用最大似然原理进行训练，负对数似然目标函数定义如下
image.png

Encoder-only模型

以BERT模型为例
它的目标函数包括两个部分，掩码语⾔模型（Masked language modeling）和下⼀句预测（Next sentence prediction）
BERT模型架构
image.png
说明：input序列里面有两个特殊的token，[CLS]和[SEP]
分别为用于驱动分类任务的嵌入和分隔input序列的嵌入

掩码语言模型

使用的是自监督学习的思想：通过加噪然后预测来进⾏训练，即通过映射有噪声不完整版本input序列到原始input序列，即
image.png
举个例子
image.png
建模
使用带噪的input序列学习到原始token
image.png
掩码
使用噪声函数 A ( x ~ 1 : L ∣ x 1 : L ) A(\widetilde{x}_{1:L}|x_{1:L}) A(x 1:L​∣x1:L​)
image.png
给一个噪声函数A的示例
image.png
减少分布偏移
分布偏移的问题在于若训练期间输入的全为带[MASK]的序列，而测试期间的input序列中是不会有[MASK]作为掩码的，这将导致分布发生变化
解决办法：如上面的噪声函数定义所示，在在20%的时间内使用真实单词

下一句预测

任务介绍
输入两个拼接好的成对句子，预测第二句是否跟随第一句。本质即为一个二分类任务
举个例子
image.png
image.png

数据集

训练数据的构建
image.png

训练目标

image.png
解释：将两个部分的最大似然进行加和，将数据集中每一个序列的损失进行加和，最小化此目标函数

值得一提的是RoBERT模型的训练在此基础上进行了改进
image.png
训练结果：RoBERTa在各种基准上显著提⾼了BERT的准确性

Encoder-Decoder模型

结合两个BART和T5两个模型进行具体说明

BART模型

Bidirectional Auto-Regressive Transformers 双向自回归模
型
image.png

加入噪声部分
image.png

模型变换部分包括掩码⽂档中30%的token和将所有⼦句打乱等操作

T5模型

Text-to-Text Transfer Transformer
Text-to-Text模型
将所有经典的NLP任务放在一个统一的框架中
image.png
预训练目标
在多种无监督目标中进行测试选择了效果最好的“i.i.d. noise, replace spans”的加噪方式
image.png

优化算法

这里以自回归模型中目标函数最大似然的一部分为例
image.png
优化关键点
参数快速收敛
数值稳定的优化
内存高效的优化
这些关键点往往相互矛盾
常用策略
在经典优化中使用⼆阶⽅法、约束优化
在机器学习中使用随机⽅法、隐式正则化+早停法
在深度学习考虑初始化、归⼀化（更改模型架构）
针对llm，考虑学习率等

数值稳定介绍
产生原因：llm的训练数据和模型参数庞大
具体表现：梯度爆炸或梯度消失
解决办法：
梯度裁剪：限制梯度的范数来避免梯度爆炸
权重初始化：合适的权重初始化方法来避免梯度消失
学习率调整：动态调整学习率来避免优化算法过快或过慢的收敛

随机梯度下降(SGD)

算法步骤
image.png

Adam

adaptive moment estimation
创新点
引入动量，使得参数 θ \theta θ在更新过程中有一个自适应的步长，提供了避免陷入local minimum的可能性
步骤
image.png
更新参数包括计算梯度->更新一阶、二阶动量->修正偏差->更新参数
计算梯度：使用与SGD相同的方式
image.png

更新一阶、二阶动量
image.png
修正偏差
image.png
更新参数
image.png
评估
Adam方法中使用了三个超参数进行参数更新
将存储从2倍的模型参数（ θ t , g t \theta_t, g_t θt​,gt​）增加到了4倍（ θ t , g t , m t , v t \theta_t, g_t, m_t, v_t θt​,gt​,mt​,vt​）

AdaFactor

算法思路
为减少存储占用
image.png
应用
被用于训练T5模型
问题
训练的困难程度加大

混合精度训练

算法思路
减少存储占用
image.png
示意图
image.png

学习率

通常情况下，学习率会随着时间的推移⽽衰减
在Transformer模型中加入预热(warmup)步骤提高学习率

初始化

初始化策略
image.png
GPT3的参数设置情况
image.png

参考资料

  1. 大语言模型的预训练
  2. datawhale的so-large-lm学习资料
自律版光追
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LLM大模型能力与企业业务系统集成技术方案
禅与计算机程序设计艺术
06-28 149
随着人工智能技术的迅猛发展，大语言模型（Large Language Models, LLMs）如GPT-4、BERT等在自然语言处理领域取得了显著的成果。这些模型通过在海量数据上进行预训练，具备了强大的语言理解和生成能力。然而，如何将这些大模型的能力与企业业务系统进行有效集成，充分发挥其价值，成为了一个亟待解决的问题。LLM与企业业务系统的集成，本质上是将预训练的大语言模型通过API接口嵌入到业务系统中，使其能够处理业务请求，提供智能化的语言处理能力。
【从零开始大模型开发与微调】AI 人工智能大语言模型 LLM：语言与思维——实践的融合
禅与计算机程序设计艺术
07-04 1283
在人工智能领域，大语言模型（Large Language Models, LLMs）已经取得了令人瞩目的成就。这些模型基于深度学习，通过在大量文本数据上预训练学习语言知识，被广泛应用于各种自然语言处理（NLP）任务，如图像描述、对话系统、翻译、摘要生成等。但这些模型的性能和表现，特别是其对语言和思维的理解，仍存在诸多困惑和疑问。大语言模型（LLMs）：指基于深度学习技术，通过在大量文本数据上预训练学习语言知识，能够理解和生成自然语言的大规模模型。自监督学习。
2024年大模型面试准备（一）：LLM主流结构和训练目标、构建流程
2201_75499313的博客
03-24 1571
该阶段根据数十万用户给出的提示词，利用在前一阶段训练的 RM 模型，给出 SFT 模型对用户提示词补全结果的质量评估，并与语言模型建模目标综合得到更好的效果。利用这些有监督数据，使用与预训练阶段相同的语言模型训练算法，在基础语言模型基础上再进行训练，从而得到有监督微调模型（SFT 模型）。SFT 模型具备了初步的任务完成能力，可以开放给用户使用，很多类 ChatGPT的模型都属于该类型，包括：Alpaca[4]、Vicuna[5]、MOSS、ChatGLM-6B 等。可以看到，示例中文本表达都较为流畅，
[ai笔记13] 大模型架构对比盘点：Encoder-Only、Decoder-Only、Encoder-Decoder
文思源想的技术空间
02-25 8342
最近看完《这就是chatgpt》对于大语言模型的三种架构演进图印象颇深，今日就专题盘点一下三种大模型架构理论，同时做一个简单对比。
datawhale 大模型学习 第五章-模型训练
fan_fan_feng的专栏
01-23 1360
自回归语言模型预测是一个条件分布：即根据1，2,。Decoder-only模型，它会产生（单向）上下文嵌入，更适合文本生成任务。：例如，GPT-3，单向上下文嵌入，在生成文本时一次生成一个token。Encoder-only模型，他是双向上下文嵌入，更适合分类任务。最后，通过微调，BART在分类和生成任务上都展示了强大的效果。例如，T5,利用双向上下文编码，利用单向上下文生成文本。)是基于Transformer的编码器-解码器模型。训练的时候用F16,跟新模型参数的时候用F32。
大模型LLM架构--Decoder-Only、Encoder-Only、Encoder-Decoder
cumtchw
04-18 1571
这类结构的模型适用于需要生成序列的任务，可以从输入的编码中生成相应的序列。这类结构的代表也就是我们平时非常熟悉的GPT模型的结构，所有该家族的网络结构都是基于Decoder-Only的形式来逐步演化。既包含编码器也包含解码器，先理解输入的信息（Encoder部分），然后基于这个理解生成新的、相关的内容（Decoder部分），通常用于序列到序列（Seq2Seq）任务，如。模型在时间线上的位置表示它们的发布日期。仅包含编码器部分，主要适用于不需要生成序列的任务，只需要对输入进行编码和处理的单向任务场景，如。
【Decoder-Only、Encoder-Only和Encoder-Decoder大模型架构区别、优缺点以及使用其架构的模型示例】
恬静释然的博客
03-14 4897
Encoder-Only架构专注于理解和编码输入信息，常用于分类、标注等任务。Decoder-Only架构专注于从一系列输入生成或预测输出。这种架构通常用于文本生成任务，如语言模型。Encoder-Decoder架构结合了编码器和解码器的优点，通常用于需要理解输入并生成相应输出的任务，如机器翻译。
大语言模型在金融风控中的应用
禅与计算机程序设计艺术
03-09 431
金融风控是金融机构确保其资产安全和业务稳定的重要手段。随着金融市场的复杂性和交易量的增加，传统的风控方法已难以应对日益增长的风险。近年来，随着大数据和人工智能技术的快速发展，金融风控领域逐渐引入了新的技术手段，其中大语言模型的应用尤为引人注目。大语言模型（Large Language Models, LLMs）通过在大规模文本数据上进行预训练，具备了强大的语言理解和生成能力。这些模型不仅能够处理结构化数据，还能从非结构化文本中提取有价值的信息，从而为金融风控提供了新的解决方案。
大语言模型原理基础与前沿：涌现能力
禅与计算机程序设计艺术
08-21 525
大语言模型（Large Language Models，LLMs）作为人工智能和自然语言处理领域的重大突破，在近年来引起了广泛关注。这些模型不仅在各种语言任务中展现出卓越的性能，还表现出了一种被称为"涌现能力"（Emergent Abilities）的令人惊叹的特性。涌现能力指的是模型在达到一定规模后，突然表现出的未经专门训练的新能力，这一现象对我们理解人工智能的本质和潜力具有深远的影响。本文将深入探讨大语言模型的原理基础，重点关注其涌现能力的形成机制、表现形式以及对未来AI发展的启示。
大语言模型原理与应用实践：基于监督学习进行微调 Supervised Learning & Fine-Tuning
禅与计算机程序设计艺术
06-25 196
近年来，随着深度学习技术的快速发展，大规模语言模型(Large Language Models, LLMs)在自然语言处理(Natural Language Processing, NLP)领域取得了巨大的突破。这些大语言模型通过在海量无标签文本数据上进行预训练，学习到了丰富的语言知识和常识，可以通过少量的有标签样本在下游任务上进行微调(Fine-Tuning)，获得优异的性能。其中最具代表性的大模型包括OpenAI的GPT系列模型、Google的BERT、T5等。
从FasterTransformer源码解读开始了解大模型（1.1）一个decoder-only的模型长啥样
zzyincsdn的博客
04-06 1632
对于一个没有接触过LLM的初学者来说，如果想要了解一个大模型的推理框架，首先应该知道大模型整个的工作原理是怎样的，知道transformers的结构是怎么生成词的，否则很容易会在读代码的过程中越读越迷糊，进入一种“我在哪里？我在看什么？这一段是做什么的”困惑状态，所以在此先推荐从来没有接触过相关知识的同学去读一下Attention is all you need的论文原文。
2024 || 将任何Decoder-only的大模型（LLM）转换为文本Embedding编码器
zenRRan的博客
04-24 408
深度图学习与大模型LLM(小编):今天给大家介绍一篇题为《LLM2Vec: 大型语言模型是强大的文本编码器》的论文-也就是说把LLM转为embedding 模型。这篇论文提出了一种简单的无监督方法 LLM2Vec，可以将任何仅解码器的大型语言模型（LLM）转换为强大的文本编码器。该方法包含三个简单的步骤：1）启用双向注意力，2）掩码下一token预测，以及3）无监督对比学习。实验结果表明，LLM2...
tensorflow笔记之二十八——带掩码的损失函数
蚂蚁搬家
10-26 1297
一个应用场景 在多标签问题中，有时候需要一些特殊的处理，比如一些样本只对部分class进行更新，而另一些样本对另外一些class进行更新。 举个例子，我们预测一个用户喜欢什么类型的电影，假如我们知道用户对哪些电影有过观看行为，这是正样本，负样本一般来说可以随机采样构造，构造也有两种方式，一个是固定用户随机采样电影，一个是固定电影随机采样用户，两种方式其实是等价的，不过考虑到随机采样用户可以覆盖到完全没有观影记录的用户，我们倾向于用后者（看电影的用户和不看电影的用户可能本身就有很大的不同了，如果train d
Hugging Face——MLM预训练掩码语言模型方法
c___c18的博客
10-29 3516
Hugging Face--MLM预训练掩码语言模型方法
为什么现在的大语言模型（LLM）都是Decoder-only的架构？
Paper weekly
03-17 2160
©PaperWeekly 原创 ·作者 |苏剑林单位 |追一科技研究方向 |NLP、神经网络LLM 是“Large Language Model”的简写，目前一般指百亿参数以上的语言模型，主要面向文本生成任务。跟小尺度模型（10 亿或以内量级）的“百花齐放”不同，目前 LLM 的一个现状是 Decoder-only 架构的研究居多，像 OpenAI 一直坚持 Decoder-only 的 ...
Transformer Encoder-Decoer 结构回顾
weixin_43301333的博客
12-02 6547
本文基于对的理解，再重新回顾一下有关于auto-encoder、auto-regressive等常见概念，以及Transformer-based model的结构。
多模态预训练模型选用指南（Vision-Language Pre-traning）
nakaizura
05-03 3351
关于预训练的诸多模型，博主已经在以往的文章中整理过： Cross-modal Pretraining in BERT（跨模态预训练） OpenAI CLIP，DALL-E CLIP在视频领域的应用（CLIPBERT，CLIP4Clip，CLIP2Video，CLIPTV） 本篇整理一下最近几篇关于Vision-Language Pre-traning(VLP)的综述文章，以及一篇很不错的，关于各个组件的选用指南文章。 VLP: A Survey on Vision-Language Pre-traini
【AI学习】在魔塔社区玩Ollama：部署GLM4和CodeGeeX4
bylander的博客
08-27 598
尝试了一下CodeGeeX4-ALL-9B 的Ollama部署。GPU要明显快很多，CPU的速度，也还凑合吧
html+css+js网页设计 个人博客模版 我的学习经历7个页面
最新发布
qq_42431718的博客
08-28 284
html+css+js网页设计 个人博客模版 我的学习经历7个页面 网页作品代码简单，可使用任意HTML编辑软件（如：Dreamweaver、HBuilder、Vscode 、Sublime 、Webstorm、Text 、Notepad++ 等任意html编辑软件进行运行及修改编辑等操作）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值