LLM 预训练|SFT监督微调|推理

最新推荐文章于 2024-05-25 09:31:23 发布
最新推荐文章于 2024-05-25 09:31:23 发布
阅读量898 收藏 26
点赞数 12
分类专栏： LLM 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Maxcu/article/details/137214383
版权

文章目录

LLM 预训练|SFT监督微调|推理

交叉熵损失

熵（Entropy）是信息论中的一个核心概念，它量化了一个随机变量的不确定性或信息内容。交叉熵（Cross Entropy）进一步发展了这个概念，用于衡量两个概率分布之间的差异。
L = − 1 N ∑ i = 1 N y i , c log ⁡ P ( y ^ i , c ) L = -\frac{1}{N} \sum_{i=1}^{N} y_{i,c} \log P(\hat{y}_{i,c}) L=−N1​i=1∑N​yi,c​logP(y^​i,c​)
在LLM中交叉熵损失实际上也是衡量两个概率分布的之间的差异：

  • X：预测的下一个token在词表中的概率分布
  • Y：真实的下一个token的One-Hot编码

预训练阶段

img

现在的大模型在进行预训练时大部分都采用了GPT的预训练任务，即 Next token prediction。预训练的目的是：在训练过程中，模型通过大量的文本数据来学习文本之间的模式和结构。

LLM所学习的数据只有输入给模型的文本，根据这个文本构建模型预训练的输入和目标：

  1. 首先token化，将文本序列转换成离散的token
  2. 根据当前token和前文的token，一起预测下一个token
  3. 将预测得到token与目标token做交叉熵损失

这里通过一个完整的例子来介绍一下这个过程，假设现在有一个用来预训练的数据集

你知道什么是预训练吗？

假设经过分词后

你: 9
知道: 3
什么: 6
是: 4
预训练: 2
吗: 1
？: 5

原来的数据变为如下序列，后面补了三个0（假设我们希望最大序列长度是10）

9 3 6 4 2 1 5 0 0 0

预测下一个token就类似于9预测3，9+3预测6，9+3+6预测4，以此类推，因此损失函数计算的次数大概就是：batch_size x sequnce_len。
但是如果这样拆成很多个数据段其实比较低效，因此就可以考虑移位来构造数据，即

  • 模型输入X为 9 3 6 4 2 1 5 0 0 0
  • 模型目标Y为 3 6 4 2 1 5 0 0 0 0

但每条预训练样本只完整前向计算1次，为了保证看不到后面的token，需要在网络结果中采用masked self-attention

SFT微调阶段

其实本质上和预训练阶段一样，对模型的输出和targets做交叉熵损失，不同点在于：

预训练阶段是直接丢给模型一堆文字，通过token化+shift操作就能构建出输入和targets，即对全文做交叉熵损失，学习并记忆文本中的内容和结构；

SFT微调阶段，输入给模型的是<Prompts>+<Response>

我们只需要输入Prompts得到模型的预测结果与Response做交叉熵损失。

在具体实现部分，会使用mask将Prompts部分掩盖，从而只对Response做Cross Entropy。

推理阶段

以自回归的方式进行预测

  • 每次预测下一个token
  • 将预测的token拼接到当前已经生成的句子上
  • 再基于拼接后的句子进行预测下一个token
  • 不断重复直到结束

其中，在预测下一个token时，每次我们都有一个概率分布用于采样，根据不同场景选择采样策略会略有不同，不然有贪婪策略、核采样、Top-k采样等，另外经常会看到Temperature这个概念，它是用来控制生成的随机性的，温度系数越小越稳定。

参考文献：

LLM 大模型基础｜预训练｜有监督微调SFT | 推理-CSDN博客

LLM中损失函数解析_llm损失函数-CSDN博客

大模型基础｜预训练｜有监督微调SFT - 知乎 (zhihu.com)

从原理到代码理解语言模型训练和推理 - 知乎 (zhihu.com)

Maxcu
关注
  • 12
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LLM大模型测试训练语料数据
03-15
在预训练阶段，LLM 从大量未标记的文本数据中学习广泛的知识，然后将其存储在其模型参数中。它使 LLM 具有一定程度的语言理解和生成能力。预训练语料库可以包含各种类型的文本数据，如网页、学术资料、书籍，同时也...
Deepspeed、LLM、Medical_Dialogue、医疗大模型、预训练、微调.zip
03-14
本文将围绕“Deepspeed、LLM、Medical_Dialogue、医疗大模型、预训练、微调”这些关键词，深入探讨相关知识点。 首先，Deepspeed是一个高效的深度学习训练优化库，由微软Azure团队开发。它提供了多种优化技术，包括...
大语言模型（LLM）预训练数据集调研分析
Paper weekly
09-15 1401
©作者 | 汪涉洋研究方向 | 大数据、AI背景大语言模型涉及数据的通常有有多个阶段（Aligning language models to follow instructions [1]）：pre-train、sft（supervised finetune）、rlhf(optional). State of GPT：大神 Andrej 揭秘 OpenAI 大模型原理和训练过程。supervis...
从零详细地梳理一个完整的 LLM 训练流程
zenRRan的博客
06-28 4711
深度学习自然语言处理 分享知乎：何枝在这篇文章中，我们将尽可能详细地梳理一个完整的 LLM 训练流程。包括模型预训练（Pretrain）、Tokenizer 训练、指令微调（Instruction Tuning）等环节。文末进群，作者答疑、不错过直播1.预训练阶段（Pretraining Stage）工欲善其事，必先利其器。当前，不少工作选择在一个较强的基座模型上进行微调，且通常效果不错（如：[a...
探索未来：全面解析开源SFT数据集
gitblog_00015的博客
05-25 469
探索未来：全面解析开源SFT数据集 项目地址:https://gitcode.com/chaoswork/sft_datasets 在这个飞速发展的AI时代，数据是推动智能模型进步的关键燃料。而今天，我们有幸向您推荐一系列开源的SFT（Sequential Few-shot Tasks）数据集，这些数据集由全球各地的开发者和研究者贡献，旨在丰富和拓宽自然语言处理(NLP)的任务边界。它们涵盖了从基...
【LLM数据篇】预训练数据集+指令生成sft数据集
发现问题，并解决问题，批判性思维
08-20 9324
在《Aligning Large Language Models with Human: A Survey》综述中对LLM数据分类为典型的人工标注数据、self-instruct数据集等 优秀的开源sft数据集：alpaca_data、belle、千言数据集、firefly、moss-003-sft-data多轮对话数据集等 文章目录 note 构造指令实例的3种方式 sft：Aligning Large Language Models with Human: A Survey Alpaca 1. self
详解各种LLM系列｜（2）LLaMA 2模型架构、 预训练、SFT内容详解 (PART-1)
weixin_49659123的博客
12-02 3210
LLaMA 2模型架构、 预训练、SFT内容详解
【LLM】sft和pretrain数据处理和筛选方法
发现问题，并解决问题，批判性思维
10-29 5091
# note - 痛点：训练垂直领域模型，sft数据和增量pretrain数据质量把控很重要 - 当数据不够时，通过self-instruct等方法造多样化的数据 - 当数据很多时，需要清洗/筛选出高质量数据 @[toc] # 一、sft数据的筛选策略 内容概要： - 构造sft数据 - 评估sft数据质量和数量 - 自动化筛选高质量sft数据 ## 1.1 使用self-instruct构造sft数据 论文：《Self-Instruct: Aligning Language Model wit
[LLM] 大模型基础｜预训练｜有监督微调SFT | 推理
摩登都市天空---专栏
03-18 2867
向量来屏蔽不希望计算loss的部分，下面就是数据构造的一个示意：做的事情就是拼接prompt和answer，并在answer两侧添加一个开始和结束的符号，算一下prompt/instruction的长度，以及后面需要pad的长度，然后生成一个mask向量，answer部分为1，其他部分为0。，也就是transformer(X)的维度还是(1,10,768)，接下来就是基于它来进行预测了，因为要预测哪个词，词的可能情况就是词表的大小，所以做的就是一个。通常LLM的预训练是无监督的，但微调过程往往是有监督的。
在您自己的数据上预训练、微调、部署 20+ LLM
04-15
标题中的“在您自己的数据上预训练、微调、部署 20+ LLM”意味着本文将探讨如何利用用户自有的数据集对大型语言模型（LLMs）进行预训练、微调以及部署的过程。LLM，全称为Large Language Models，是能够理解和生成...
Byzer-LLM 基于 Ray 技术构建，是一款覆盖大语言模型（LLM）完整生命周期的解决方案包括预训练、微调、部署及推理服务
最新发布
06-06
它为 LLM 提供了从预训练到微调，再到部署和推理服务的一站式管理。Byzer-LLM 的独特之处在于它提供全生命周期管理，支持预训练、微调、部署和推理服务全流程。用户可以通过简单的 Python/SQL API 接口与 Byzer-LLM ...
基于大型语言模型的预训练实战.zip
03-23
二次开发通常涉及对预训练模型进行微调，以适应特定任务，比如对话生成、问答系统、机器翻译等。这可能包括修改模型结构、调整超参数、训练新的词汇表，甚至添加特定领域的知识库。 项目中的源码将展示如何与...
LLM中损失函数解析
yzy的博客
12-04 3452
在GPT系列大语言模型中损失函数采用的是自回归语言建模任务，即根据前K-1个token预测第K个token，本质上都是交叉熵分类损失，在实现上预训练和监督微调稍有不同，本文分别进行介绍。
从零训练一个多模态LLM：预训练+指令微调+对齐+融合多模态+链接外部系统
zenRRan的博客
07-22 1837
深度学习自然语言处理 分享知乎：逃脱鱼子酱进NLP群—>加入NLP交流群本文尝试梳理一个完整的多模态LLM的训练流程。包括模型结构选择、数据预处理、模型预训练、指令微调、对齐、融合多模态以及链接外部系统等环节。一、准备阶段1 模型结构目前主要有三种模型架构，基于Transformer解码器，基于General Language Model，以及混合专家模型。这一步可以直接选择开源的的基座模型...
一文读懂 LLM 训练：从预训练到微调【大模型行业应用入门系列】
kaka0722ww的博客
04-16 2685
LLM Training 是指大型语言模型（LLM）的训练过程。作为一种采用超大规模数据进行预训练的深度学习模型，LLM 训练目标是培养出一个能够理解和生成自然语言文本的模型。在这个过程中，LLM 通过处理海量文本数据来学习语言的规律、语义和上下文关系等训练方式，可以获得丰富的语言知识和智能，从而使得能够自动理解和生成人类语言。通常而言，这种训练过程通常需要大量的计算资源和时间，以便模型能够充分地学习语言的各个方面。
【LLM】浅析chatglm的sft+p-tuning v2
发现问题，并解决问题，批判性思维
07-28 1952
# note - GLM将针对不同类型下游任务的预训练目标统一为了自回归填空，结合了混合的注意力机制和新的二维位置编码。 - 本文浅析sft，并基于GLM在广告描述数据集上进行sft+p-tuning代码的数据流讲解 自回归空格填充任务： - 初始文本输入：x1, x2,x3,x4,x5,x6 - 随机掩码mask - PartA 部分：x1,x2,M,x4,M ，其中M表示mask的跨度 - PartB 部分： S,x5,x6,S,x3（刚才mask掉的那几坨，随机排
LLM 大规模语言模型综述
be_humble的博客
04-18 2005
LLM 大模型 综述 survey
LLM-SFT，新微调数据集-MWP-Instruct(多步计算 + 一、二元方程)，微调Bloom, ChatGLM, LlaMA(支持QLoRA, TensorBoardX)
大漠帝国的博客
06-12 1031
中文大模型微调(LLM-SFT), 支持模型(ChatGLM, LlaMA, Bloom), 支持(LoRA, QLoRA, DeepSpeed, UI, TensorboardX), 支持(微调, 推理, 测评, 接口)等.
llm 模型本地部署及微调流程
06-10
LLM（Language Learning Model）是一个基于预训练模型的自然语言处理框架，可以用于各种NLP任务，如文本分类、命名实体识别、情感分析等。下面是LLM模型的本地部署及微调流程： 1. 下载预训练模型 LLM模型基于预训练模型，可以通过Hugging Face官网下载预训练模型。选择相应的模型并下载到本地。 2. 安装LLM 可以使用pip命令安装LLM，命令如下： ``` pip install llm ``` 3. 加载预训练模型 使用LLM的load方法加载预训练模型，代码示例如下： ```python from llm.modeling import LLMForSequenceClassification model = LLMForSequenceClassification.from_pretrained('path/to/pretrained_model') ``` 4. 微调模型 使用LLM的train方法微调模型，代码示例如下： ```python import torch from llm.data import TextDataset, TextDataLoader from llm.training import LLMTrainer train_dataset = TextDataset('path/to/train_data', model.tokenizer) train_loader = TextDataLoader(train_dataset, batch_size=32, shuffle=True) optimizer = torch.optim.Adam(model.parameters(), lr=5e-5) trainer = LLMTrainer(model, optimizer) trainer.train(train_loader, epochs=3) ``` 5. 保存微调后的模型 使用LLM的save_pretrained方法保存微调后的模型，代码示例如下： ```python model.save_pretrained('path/to/fine_tuned_model') ``` 以上就是LLM模型的本地部署及微调流程。需要注意的是，在微调模型时，需要准备好训练数据，并且调整好超参数，以达到最佳的微调效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值