本篇主要从训练数据预处理、模型结构、训练参数设置与错误处理四大角度比较细节地分享大模型微调经验。
大模型的训练和微调过程相对于以前NLP中fine-tuning模式存在一些新的坑，并且做一些简单的消融实验相对于以前的模式试错成本也更高；此外目前很多算法工程师更多精力都放在了处理数据上， 工作之余很难有精力去做探索实验。
所以小伙伴们在实践前可以多看看一些通用的实践经验，带着一些先验知识去探索，尽量规避自己陷入一些无意义的坑中。
本篇将开启一个新系列，尽量细节的讲讲大模型中训练和微调的经验。
本篇主要从训练数据预处理、模型结构、训练参数设置与错误处理四大角度来谈经验，下面是一个问题的快捷目录。
-
拿到业务产生的一批新的对话数据，需要进行SFT，怎样对这批数据进行优化？
-
模型训练时，历史对话长度是不是设置得越长越好，一般设置多少？
-
模型训练样本量规模增大，导致训练任务直接报OOM了，该怎么办？
-
微调大模型的时候在模型结构方面有哪些经验？
-
微调大模型的时候训练配置一般是怎样的？
-
微调大模型时出现错误崩溃该怎么办？
1.拿到业务产生的一批对话数据，需要进行SFT，怎样对这批数据进行优化？
1. 上下文内容处理
考虑具体模型历史对话长度，输入历史对话数据进行左阶段， 保留最新的对话记录。
2. 语句顺滑处理
把一些口语化的语气词、语法错误等进行顺滑，如嗯嗯、呃、啊啊之类的口语词。
3. 去掉一些敏感或不合适的内容
这里可以从整句和词的角度来考虑。
- 整句
可以基于如fasttext等模型训练一个简单的文本分类模型，把价值观不正确的或不合适的样本数据筛出来；
还可以训练一个奖励模型，奖励模型怎么训练可以参考大模型强化学习实操（一）——如何训练一个自己偏好的大模型（附代码）这篇内容
- 词
这里比较直接，可以设置一个敏感词列表。
4. 扩充用户特征标签
基于年龄、性别、地域、人群等，针对对话的用户做一个特征标签，可以便于后期分析，做其他实验等。
2. 模型训练时，历史对话长度是不是设置得越长越好，一般设置多少？
这个消融实验是这么设计的，选同一个模型，分别用两种方案训练，变量是max_source_length和max_target_length，对训练好之后的模型从Loss、Bleu指标、离线人工评估等角度进行对比分析。
下面直接附上结论：
基于现有显存条件，从人工评估少量样本以及loss下降来看，历史对话长度设置得越长越好。历史对话长度1024比512长度好，后续如果训练可能上线模型，可以扩大到1024长度。
3. 模型训练样本量规模增大，导致训练任务直接报OOM了，该怎么办？
1. 方案
对数据并行处理，核心思想是使数据向量化耗时随处理进程的增加线性下降，训练时数据的内存占用只和数据分段大小有关，可以根据数据特点，灵活配置化。
2. 具体操作
- 均分完整数据集到所有进程（总的GPU卡数）；
- 每个epoch训练时整体数据分片shuffle一次，在每个进程同一时间只加载单个分段大小数据集；
- 重新训练时可以直接加载向量化后的数据。
4. 微调大模型的时候在模型结构有哪些经验？
- 模型结构：目前都用Causal Decoder + LM。有很好的zero-shot和few-shot能力，涌现效应
- Layer normalization: 使用Pre RMS Norm
- 激活函数: 使用GeGLU或SwiGLU
- Embedding层后不添加layer normalization，否则会影响LLM的性能
- 位置编码: 使用ROPE或ALiBi。ROPE应用更广
- 去除偏置项: 去除dense层和layer norm的偏置项，有助于提升稳定性
5. 微调大模型的时候在训练配置方面有哪些经验？
- Batch size: 大模型在硬件显存满足的情况下，一般batch size越大越好， 建议选用很大的batch size; 后期动态地增加batch size的策略，GPT3逐渐从32K增加到3.2M tokens。
- 学习率设置: 先warmup再衰减。学习率先线性增长，再余弦衰减到最大值的10%。最大值一般在 5e-5到1e-4之间。
- 梯度裁剪: 通常将梯度裁剪为1.0。
- 权重衰减: 采用AdamW优化器，权重衰减系数设置为0.1Adamw相当于Adam加了一个L2正则项。
- 混合精度训练: 采用bfloat16，而不是foat16来训练。
6. 微调大模型时出现错误崩溃该怎么办？
前面都好好的，过某个shard的时候突然崩溃了大概率是数据问题。
选择一个好的断点，跳过训练崩溃的数据段，进行断点重训。
选择一个好的断点的两点标准:
- 损失标度 lossscale>0；
- 梯度的L2范数<一定值 且 波动小。
如何系统的去学习大模型LLM ？
作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。
但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~
👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享]👈
一、全套AGI大模型学习路线
AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！
二、640套AI大模型报告合集
这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
阶段1：AI大模型时代的基础理解
- 目标：了解AI大模型的基本概念、发展历程和核心原理。
- 内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践 - L1.5 GPT应用案例
阶段2：AI大模型API应用开发工程
- 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
- 内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例 - L2.2 Prompt框架
- L2.2.1 什么是Prompt
- L2.2.2 Prompt框架应用现状
- L2.2.3 基于GPTAS的Prompt框架
- L2.2.4 Prompt框架与Thought
- L2.2.5 Prompt框架与提示词 - L2.3 流水线工程
- L2.3.1 流水线工程的概念
- L2.3.2 流水线工程的优点
- L2.3.3 流水线工程的应用 - L2.4 总结与展望
- L2.1 API接口
阶段3：AI大模型应用架构实践
- 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
- 内容：
- L3.1 Agent模型框架
- L3.1.1 Agent模型框架的设计理念
- L3.1.2 Agent模型框架的核心组件
- L3.1.3 Agent模型框架的实现细节 - L3.2 MetaGPT
- L3.2.1 MetaGPT的基本概念
- L3.2.2 MetaGPT的工作原理
- L3.2.3 MetaGPT的应用场景 - L3.3 ChatGLM
- L3.3.1 ChatGLM的特点
- L3.3.2 ChatGLM的开发环境
- L3.3.3 ChatGLM的使用示例 - L3.4 LLAMA
- L3.4.1 LLAMA的特点
- L3.4.2 LLAMA的开发环境
- L3.4.3 LLAMA的使用示例 - L3.5 其他大模型介绍
- L3.1 Agent模型框架
阶段4：AI大模型私有化部署
- 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
- 内容：
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
学习计划：
- 阶段1：1-2个月，建立AI大模型的基础知识体系。
- 阶段2：2-3个月，专注于API应用开发能力的提升。
- 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
- 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的所有 ⚡️ 大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
全套 《LLM大模型入门+进阶学习资源包》↓↓↓ 获取~
👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享👈
926
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
